互联网/IT行业面试题更新 2026-08-05
请手写实现多头注意力机制(MHA),并说明在什么地方添加 mask 矩阵。
联想人工智能互联网/IT编码实现技术原理
考察说明
考察Transformer多头注意力的实现细节及mask应用位置
回答思路
- 正确实现线性投影、多头切分、缩放点积注意力及输出合并
- 能说明padding mask与causal mask的添加位置和作用
- 能说明mask在softmax之前通过加负无穷或大负数实现
- 能说明多头注意力的维度变换与矩阵乘法
- 能处理mask广播到批次和头维度的正确性
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。