Transformer 中 Encoder 与 Decoder 的自注意力机制有何区别？
考察说明
考察对 Transformer 注意力机制结构差异及训练阶段行为的理解
回答思路
- 说明 Encoder 使用双向自注意力，每个位置可看到全部输入
- 说明 Decoder 使用带掩码的自注意力，防止看到未来位置
- 说明 Decoder 中 Encoder-Decoder 注意力使用 Encoder 输出作 Key/Value
- 说明训练并行与推理逐词生成的差异
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。