Transformer注意力分数为何要做缩放（即为什么除以根号d）？

Question

Accepted Answer

考察点：考察对注意力机制数学动机和数值稳定性的理解。回答思路：说明缩放目的是防止softmax输入过大导致梯度消失 解释当维度增加时点积方差增大的原因 关联到温度缩放机制或自注意力中的归一化 能联系到训练稳定性和后续改进（如flash attention）或实际效果

考察说明