我要招人

专业服务行业面试题更新 2026-08-05

除了标准多头注意力（MHA）之外，你还了解哪些注意力机制（如 GQA、MQA、MLA）？请讲解其原理。

阿里云人工智能专业服务技术原理方案权衡Transformer

考察说明

考察对高效注意力变体的原理理解，包括参数共享、KV缓存和推理效率

回答思路

  1. 准确区分 MHA、MQA、GQA、MLA 的键值共享方式
  2. 说明各自的参数量、计算量和内存占用差异
  3. 理解对 KV 缓存和推理延迟的影响
  4. 能结合模型规模和部署场景说明选择权衡