我要招人

互联网/IT行业面试题更新 2026-08-05

请介绍大模型主流模型结构的主要演进变化

字节跳动人工智能互联网/IT持续改进技术原理技术选型Transformer

考察说明

考察对大模型架构演进、关键技术变革的理解

回答思路

  1. 能够概述从早期Transformer到现代大模型的结构演进脉络
  2. 能指出自注意力机制、层归一化、激活函数等关键组件的变化
  3. 能说明稀疏注意力、混合专家（MoE）等架构创新的动机与效果
  4. 能对比不同模型（如GPT、BERT、T5等）的结构特点