在3D并行（数据并行、张量并行、流水线并行）中，ZeRO优化器的并行策略最多能开到什么程度？如果只开启部分ZeRO级别（如ZeRO-2），会带来哪些影响？
考察说明
考察对ZeRO优化器与3D并行组合的理解，包括显存节省、通信开销和训练稳定性
回答思路
- 说明ZeRO-1、ZeRO-2、ZeRO-3的差异及与3D并行的搭配
- 指出ZeRO-3可配合数据并行、张量并行和流水线并行，但需权衡通信
- 分析ZeRO-2只优化梯度，不优化参数和优化器状态，显存节省有限
- 讨论分区级别过高可能带来的通信瓶颈和训练速度下降
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。