互联网/IT行业面试题更新 2026-08-05
Transformer的Attention计算过程中为什么要对QK的点积进行scale？
快手人工智能互联网/IT技术原理问题排查Transformer
考察说明
考察对Attention机制中数值稳定性和Softmax梯度的理解
回答思路
- 说明QK点积方差随维度增大而增大
- 解释不缩放会导致Softmax进入饱和区、梯度消失
- 指出缩放因子一般是维度开方
- 能说明缩放对数值范围与训练稳定性的作用
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
