在Transformer中为什么要使用位置编码？为什么常采用正弦余弦（sin/cos）函数形式？

Question

Accepted Answer

考察点：考察对Transformer位置信息建模原理及sin/cos编码设计动机的理解。回答思路：能说明自注意力本身不具备序列顺序信息，需额外注入位置 能解释sin/cos函数满足相对位置线性表达的性质 能对比可学习位置编码与固定sin/cos编码的优缺点 能提及对长序列的泛化能力与周期性特点

考察说明