请解释 DeepSpeed 的 ZeRO 优化器的多个阶段及其参数分布方式。

Question

Accepted Answer

考察点：考察对分布式训练中 ZeRO 分阶段内存优化原理的理解。回答思路：明确 ZeRO 的不同阶段（1、2、3）对应的参数、梯度和优化器状态的分片策略 说明各阶段在显存节省与通信开销上的权衡 结合具体训练场景说明如何选择合适的阶段

考察说明