互联网/IT行业面试题更新 2026-08-05
多头注意力机制与单头注意力机制相比，在计算量和参数量上有什么变化？
淘天集团人工智能互联网/IT问题拆解技术原理Transformer
考察说明
考察对多头注意力机制计算复杂度和参数规模的理解
回答思路
- 明确多头机制将特征维度切分，总参数与计算量与单头基本相当
- 解释单头与多头在相同总维度下的参数量对比
- 说明多头计算包括Q、K、V投影和输出投影，头数增加不改变整体维度
- 对比计算量时考虑注意力矩阵计算和并行性优势
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
