后端岗位面试题更新 2026-08-05
prompt之间的token是否是有依赖的,是否可以并行?
卓驭后端开发人工智能问题拆解技术原理LLM
考察说明
考察对LLM推断过程中token生成顺序和并行性的理解
回答思路
- 明确说明自回归解码的token之间存在顺序依赖
- 解释由于依赖关系不能并行生成同一序列的token
- 讨论可以并行的环节如batch内不同样本、推测解码等
- 指出上下文prompt部分可以并行预填充，生成阶段仍串行
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
