互联网/IT行业面试题更新 2026-08-05

计算Attention的softmax之前为什么要除根号dk?

字节跳动人工智能互联网/IT问题拆解技术原理Transformer

考察说明

考察对Transformer中注意力机制缩放因子原理的理解

回答思路

  1. 解释输入点积的方差与维度关系
  2. 说明除以根号dk控制方差避免梯度饱和
  3. 体现对softmax数值稳定性和梯度流的理解
本题已收录答题指导

本题附完整参考答案与评分标准

登录后可查看结构化答题指导;也可以直接开一场模拟面试,AI 面试官用本题实时追问并给出评分。