在多头注意力机制中，为什么点积注意力要除以根号d（dk）？

Question

Accepted Answer

考察点：考察对注意力缩放因子及其数学与稳定性原理的理解。回答思路：能解释点积缩放的目的：防止点积数值随维度增大而过大 能说明softmax在输入过大时梯度消失或饱和的问题 能说明缩放因子选择根号d的合理性 能联系方差分析：Q·K的方差随d增大而线性增长 能提到除根号d后分布更稳定，训练更平稳

考察说明