蚂蚁集团面试题更新 2026-08-05
介绍几种注意力机制（MHA、MQA、GQA）的区别。
蚂蚁集团人工智能互联网/IT技术原理方案权衡
考察说明
考察对注意力机制变体的理解及其在计算效率与表达力之间的权衡
回答思路
- 准确说明MHA每个头独立共享原始K、V投影
- 说明MQA所有头共享同一组K、V投影以降低内存
- 说明GQA将头分组共享K、V，是MHA与MQA的折中
- 能比较参数量、KV缓存和推理性能差异
- 提及典型应用场景（如LLM推理加速）
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
