介绍Transformer的位置编码,为什么这么设计,为什么可以达到位置编码的效果,编码了相对位置还是绝对位置;介绍RoPE

Question

Accepted Answer

考察点：考察位置编码原理、设计动机及RoPE的理解。回答思路：解释位置编码为何必要及自注意力无序性 说明原始正弦位置编码的公式与相对/绝对特性 阐述RoPE的旋转机制与相对位置建模 对比两者优劣与适用场景

考察说明