在模型加速方面，DeepSpeed 的 Zero-1、Zero-2、Zero-3 分别有哪些区别？
考察说明
考察对 DeepSpeed ZeRO 优化器状态、梯度、参数分片策略及通信开销的理解
回答思路
- 准确说明 ZeRO-1 仅对优化器状态分片
- 准确说明 ZeRO-2 对优化器状态和梯度分片
- 准确说明 ZeRO-3 对优化器状态、梯度和参数全分片
- 描述各阶段通信量和内存节省的权衡
- 能提及 ZeRO-3 下参数需通过通信按需获取
- 能区分 ZeRO 与数据并行、模型并行的适用场景
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。