淘天集团面试题更新 2026-08-05

请列举几个基于 Transformer 的经典语言模型,并说明 Qwen 相比原始 Transformer 在结构上做了哪些主要改动?

淘天集团人工智能互联网/IT技术原理技术选型Transformer

考察说明

考察对 Transformer 架构演进和主流模型结构差异的理解

回答思路

  1. 能列举至少三个经典模型(如 BERT、GPT、T5、LLaMA 等)
  2. 能说明 Qwen 在注意力机制、位置编码或归一化上的具体改动
  3. 能对比原始 Transformer 结构,指出关键差异及其目的