阿里巴巴面试题更新 2026-08-05

如何看待目前大语言模型都是decoder-only结构?

阿里巴巴人工智能电商技术原理技术选型方案权衡Transformer

考察说明

考察对大语言模型架构演进的原理性理解与权衡分析

回答思路

  1. 说明encoder-decoder与decoder-only的架构差异
  2. 解释decoder-only在预训练目标、扩展性和部署上的优势
  3. 讨论causal attention对生成任务的有效性及长上下文处理影响
  4. 对比历史尝试如T5、BART与当前主流
  5. 能结合缩放定律和自回归目标分析原因