请介绍LLaMA的模型结构及其设计特点。

Question

Accepted Answer

考察点：考察对LLaMA模型架构的理解及关键设计细节。回答思路：明确说明LLaMA的基础架构是Transformer解码器 指出RMSNorm、SwiGLU、RoPE等核心设计 说明预归一化、激活函数和位置编码的作用 对比其他模型时能突出LLaMA的改进点

考察说明