阿里云面试题更新 2026-08-05
Attention中为什么要除以根号dk？
阿里云人工智能专业服务技术原理Transformer
考察说明
考察对注意力机制数学原理和数值稳定性的理解
回答思路
- 解释除以根号dk的原因：防止点积值过大导致softmax梯度消失
- 说明dk是Key向量的维度，缩放因子与维度相关
- 理解缩放后点积的方差保持稳定
- 能联系到实际实现中的数值稳定性考虑
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
