请解释ZeRO（零冗余优化器）的原理及其相对于传统数据并行的优势。

Question

Accepted Answer

考察点：考察对大规模深度学习分布式训练中显存优化机制的理解。回答思路：能说明ZeRO的三个优化阶段：优化器状态分区、梯度分区、参数分区 能解释ZeRO-Infinity或ZeRO-Offload的扩展 能对比传统数据并行和模型并行的差异 能说明通信开销与显存节省的权衡

考察说明