互联网/IT行业面试题更新 2026-08-05

请手写实现多头注意力机制(MHA),并说明在什么地方添加 mask 矩阵。

联想人工智能互联网/IT编码实现技术原理

考察说明

考察Transformer多头注意力的实现细节及mask应用位置

回答思路

  1. 正确实现线性投影、多头切分、缩放点积注意力及输出合并
  2. 能说明padding mask与causal mask的添加位置和作用
  3. 能说明mask在softmax之前通过加负无穷或大负数实现
  4. 能说明多头注意力的维度变换与矩阵乘法
  5. 能处理mask广播到批次和头维度的正确性
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。