请谈谈Transformer是如何实现并行化计算的。在计算注意力得分时，为什么通常要对点积结果进行缩放（即除以根号dk）？

Question

Accepted Answer

考察点：考察Transformer并行计算原理及注意力机制中缩放因子的数学动机。回答思路：说明Transformer通过矩阵化运算和自回归限制实现并行化 解释缩放因子的必要性：防止点积过大导致Softmax梯度消失 区分缩放与训练稳定性的关系

考察说明