目前主流大语言模型在架构设计上有哪些异同点？

回答思路

1. 能说明Transformer架构的共同基础，如自注意力机制和层归一化
2. 能对比不同模型在编码器/解码器结构上的选择及其设计动机
3. 能提及MoE、稀疏注意力等改进点及相应权衡
4. 能结合具体模型（如GPT、LLaMA、Mistral）说明各自架构特色