Transformer中自注意力公式除以根号d的作用是什么？是缓解梯度爆炸还是梯度消失？

Question

Accepted Answer

考察点：理解注意力缩放因子的数学目的及其对梯度的影响。回答思路：解释点积随维度增长而增大，除以根号d保持方差稳定 说明未缩放时softmax输入过大导致梯度消失 区分对梯度消失的缓解作用，而非梯度爆炸 能够结合softmax性质阐述必要性

考察说明