阿里巴巴面试题更新 2026-08-05
为什么注意力机制要除以根号 d_k？如果不缩放会怎样？
阿里巴巴人工智能电商问题拆解技术原理Transformer
考察说明
考察对注意力分数缩放动机与数值稳定性的理解
回答思路
- 解释缩放目的是防止点积过大导致 softmax 梯度消失
- 说明方差随维度增大而增大，需要归一化
- 对比缩放与否对梯度与训练稳定的影响
- 能清晰表述根号 d_k 的选择依据
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
