互联网/IT行业面试题更新 2026-08-05
如果Transformer的注意力机制中把K去掉，变成QQV，会有什么问题？
字节跳动人工智能互联网/IT问题拆解技术原理Transformer
考察说明
考察对注意力机制中键（K）作用的理解，以及去掉K后带来的影响
回答思路
- 能说明K在注意力计算中作为查询匹配目标的作用
- 能分析去掉K后，注意力权重退化为仅基于查询自身的相似度，导致无法区分不同位置的信息
- 能指出这样会导致模型表达能力下降，难以学习到位置间有意义的依赖关系
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
