华为HUAWEI面试题更新 2026-08-05

Transformer中的自注意力机制为何要除以dk?如果不除以dk,梯度会有什么问题?

华为HUAWEI人工智能电子/半导体问题拆解技术原理

考察说明

考察对注意力缩放原理与数值稳定性的理解

回答思路

  1. 说出dk为注意力头维度
  2. 解释点积随维度增大导致方差变大的问题
  3. 说明除以dk对softmax梯度稳定性的作用
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。