互联网/IT行业面试题更新 2026-08-05
解释一下 attention score 的计算公式,并说明为什么要除以根号 d?
深圳虾皮信息科技有限公司人工智能互联网/IT技术原理
考察说明
考察对注意力机制公式的理解及其数值稳定性和梯度性质的把握
回答思路
- 写出 softmax(QK^T/sqrt(d_k))V 公式并解释各符号含义
- 说明除以 sqrt(d_k) 是为了抵消点积随维度增长导致的方差膨胀
- 解释方差过大会使 softmax 梯度趋近于零,影响训练稳定性
- 能联系到其他归一化因子设计或实践中的替代方案
本题附完整参考答案与评分标准
登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。