GPT和LLaMA在模型结构上有什么区别？

回答思路

1. 准确说明GPT与LLaMA均基于Transformer解码器
2. 对比位置编码方式（绝对位置编码与旋转位置编码RoPE）
3. 指出RMSNorm、SwiGLU激活函数等关键结构差异
4. 提及注意力机制或上下文长度实现差异
5. 能说明这些差异带来的性能或训练收益