人工智能面试题更新 2026-08-05

请你手写实现分组注意力机制(Grouped Attention),说明其与多头注意力的区别。

阿里巴巴人工智能电商编码实现技术原理PyTorch

考察说明

考察分组注意力的实现理解、维度计算及与标准多头注意力的对比

回答思路

  1. 能写出分组注意力的核心伪代码或结构,包含QKV划分
  2. 说明grouped query attention中query头数多于key/value头数的设计
  3. 解释维度变换与注意力权重计算过程,并说明输出拼接方式
  4. 能指出分组注意力的优势:降低KV缓存与计算开销
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。