LLaMA中的Transformer与普通Transformer相比有哪些改进？

Question

Accepted Answer

考察点：考察对LLaMA模型架构改进的深入理解与对比能力。回答思路：准确指出LLaMA采用RMSNorm替代LayerNorm 说明SwiGLU激活函数比ReLU/GELU的优势 提到旋转位置编码RoPE及上下文扩展 能对比说明预归一化与Post-Norm的差异 理解改进对训练稳定性和性能的影响

考察说明