请描述 Qwen(例如 Qwen2 系列)的整体模型结构,包括主要的组件和设计特点。
考察说明
考察对大语言模型基础架构(如 Transformer、注意力机制、层归一化等)的理解
回答思路
- 能准确说明模型基于 Transformer 解码器架构
- 能描述嵌入层、注意力层、前馈网络等核心组件
- 能提及 RoPE、Grouped Query Attention、SwiGLU 激活函数等关键设计点
- 能说明层归一化位置或 RMSNorm 的使用
考察对大语言模型基础架构(如 Transformer、注意力机制、层归一化等)的理解