Transformer 的位置 embedding 怎么计算？

Question

Accepted Answer

考察点：考察对 Transformer 正弦位置编码原理和性质的理解。回答思路：能写出正弦位置编码公式并解释参数含义 说明位置编码与词嵌入相加的原因 讨论绝对位置编码的特点和局限，如无法直接捕捉相对位置 如能提及可学习位置编码或其他替代方案可作为加分项

考察说明