请手写Transformer模型的核心代码，并解释为什么注意力机制中要除以根号d。

Question

Accepted Answer

考察点：考察Transformer架构的实现能力与注意力机制缩放因子的数学原理。回答思路：能写出多头注意力的查询、键、值计算及缩放点积注意力公式 能解释softmax前除以根号d防止梯度消失或饱和的原因 能说明在多头注意力中特征维度被分割后根号d的具体取值

考察说明