互联网/IT行业面试题更新 2026-08-05
手写实现Transformer编码器中的多头注意力机制（MHA），并简要说明各步骤。
字节跳动人工智能互联网/IT编码实现问题拆解技术原理Transformer
考察说明
考察对Transformer编码器与多头注意力机制的理解及代码实现能力
回答思路
- 正确实现输入线性投影得到Q、K、V
- 正确执行缩放点积注意力计算并处理掩码
- 正确实现多头拆分与拼接
- 正确实现残差连接与层归一化
- 能清晰解释各步操作的目的
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
