我要招人

专业服务行业面试题更新 2026-08-05

请讲一下DeepSpeed ZeRO Stage 1-3的区别，以及在什么情况下使用FSDP会更好？

阿里云人工智能专业服务技术原理技术选型方案权衡DeepSpeed

考察说明

考察分布式训练中显存优化策略的原理理解与选型能力

回答思路

  1. 准确说明ZeRO Stage 1-3对优化器状态、梯度、参数的切分策略
  2. 解释各阶段的显存节省与通信开销差异
  3. 说明FSDP与ZeRO的核心区别（如分片策略、通信方式）
  4. 给出结合场景（模型规模、硬件配置、易用性）的选型依据