请手写实现 Transformer Encoder 中包含的多头注意力机制(MHA),并解释其关键组成部分。
考察说明
考察对 transformer 编码器及多头注意力实现的掌握,包括 QKV 投影、scaling、mask、拼接与输出投影。
回答思路
- 实现 QKV 线性投影并按头数切分
- 实现 scaled dot-product attention 及 softmax 归一化
- 支持 padding mask 或 causal mask 的遮罩处理
- 拼接多头输出并做输出线性投影,解释为何需要投影
- 说明计算复杂度或数值稳定性考量(如 sqrt(dk) 缩放)
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。