阿里巴巴面试题更新 2026-08-05
注意力机制:请简述MHA、MQA 和 GQA 三种注意力机制的核心区别。
阿里巴巴人工智能电商技术原理方案权衡
考察说明
考察对主流多头注意力变体架构差异及其动机的理解
回答思路
- 准确说明MHA多组键值头的设计
- 准确说明MQA共享单组键值头以减少计算量
- 准确说明GQA在分组键值头间折中的设计动机
- 能对比推理速度、内存占用与表达能力的取舍
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
