后来有哪些比较经典的基于Transformer的语言模型,Qwen相比于原始Transformer有哪些结构上的改动,Qwen2又有哪些改进?
考察说明
考察对Transformer架构演进、Qwen系列模型结构差异及版本改进的理解
回答思路
- 能列举GPT、BERT、T5等经典Transformer模型及其特点
- 能准确说明Qwen在注意力机制、位置编码等结构上的改动
- 能清晰阐述Qwen2相对Qwen的改进点
- 能体现对模型演进脉络和细节的掌握
考察对Transformer架构演进、Qwen系列模型结构差异及版本改进的理解