大模型有哪些位置编码，RoPE 的优势是什么？

Question

Accepted Answer

考察点：考察位置编码的演进理解与旋转位置编码的数学机制及优势。回答思路：列举绝对位置编码、相对位置编码、RoPE等常见方案 解释RoPE基于旋转矩阵实现相对位置的数学原理 说明RoPE对外推性、长度扩展与训练稳定性的优势 能对比不同编码方案在建模长距离依赖上的差异

考察说明