请介绍一下 Qwen 模型的架构特点。

回答思路

1. 说明 Qwen 采用的 Transformer 解码器架构
2. 提到 SwiGLU 激活函数、RMSNorm 等关键设置
3. 说明旋转位置编码 RoPE 的应用
4. 提及分组查询注意力 GQA 与超长上下文支持