互联网/IT行业面试题更新 2026-08-05
DeepSpeed的ZeRO优化器在不同阶段（Stage 1、2、3）分别能节省哪些显存？各阶段的主要区别是什么？
网易人工智能互联网/IT技术原理技术选型方案权衡DeepSpeedPyTorch
回答思路
- 能说明各阶段省去的数据类型和通信代价
- 能解释Stage 1省去优化器状态的条件
- 能解释Stage 2进一步省去梯度的条件
- 能说明Stage 3以及CPU offload省去参数及更高通信开销
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
