字节跳动面试题更新 2026-08-05

请手写实现 Transformer Encoder 中包含的多头注意力机制(MHA),并解释其关键组成部分。

字节跳动人工智能互联网/IT编码实现技术原理

考察说明

考察对 transformer 编码器及多头注意力实现的掌握,包括 QKV 投影、scaling、mask、拼接与输出投影。

回答思路

  1. 实现 QKV 线性投影并按头数切分
  2. 实现 scaled dot-product attention 及 softmax 归一化
  3. 支持 padding mask 或 causal mask 的遮罩处理
  4. 拼接多头输出并做输出线性投影,解释为何需要投影
  5. 说明计算复杂度或数值稳定性考量(如 sqrt(dk) 缩放)
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。