Transformer中的Q、K、V分别来自哪里？各自代表什么含义？
考察说明
考察对Transformer自注意力机制中查询、键、值向量来源与作用的原理理解
回答思路
- 准确说明Q、K、V均来自输入序列的同一个嵌入表示
- 明确各自经过不同的线性变换得到，且维度一致
- 解释Q代表当前查询需求、K代表被匹配的键、V代表携带的信息内容
- 理解注意力权重由Q与K点积经softmax归一化得出，再加权V
- 说明多头注意力中每组头使用独立的Q、K、V线性变换
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。