百度面试题更新 2026-08-05
计算attention时为什么要除以根号dk，还有哪些scale处理？
百度人工智能专业服务技术原理方案权衡Transformer
考察说明
考察对Transformer中注意力机制缩放因子的原理理解及变体知识
回答思路
- 解释除以根号dk防止点积过大导致softmax梯度消失
- 说明点积方差与维度dk的关系
- 列举其他scale方法如除以dk、温度缩放、余弦相似度等
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
