在Transformer的多头注意力机制中，缩放点积注意力为何要将点积结果除以sqrt(d_k)？

Question

Accepted Answer

考察点：考察对注意力机制数值稳定性与概率分布的理解。回答思路：解释点积规模随维度增大而增大的原因 说明除以sqrt(d_k)对梯度稳定性的影响 说明softmax饱和区域梯度消失的风险 对比不缩放的后果

考察说明