我要招人

互联网/IT行业面试题更新 2026-08-05

请结合 DeepSpeed 的三个 ZeRO 阶段，详细介绍其工作原理、内存优化方式及各自的适用场景。

淘天集团人工智能互联网/IT技术原理技术选型方案权衡DeepSpeed

考察说明

考察对 DeepSpeed ZeRO 各阶段内存优化机制的理解与场景判断能力

回答思路

  1. 准确区分 ZeRO-Stage1/2/3 的优化维度（优化器状态、梯度、参数）
  2. 说明各阶段显存占用与通信开销的权衡
  3. 结合训练场景说明选用各阶段的依据
  4. 能提及 Offload 等进阶手段加以补充