分布式训练中 ZeRO-2 和 ZeRO-3 的核心区别是什么？

回答思路

1. 明确 ZeRO-2 划分优化器状态与梯度，保留完整参数副本
2. 明确 ZeRO-3 增加参数划分，每个设备只存部分参数和全部状态
3. 能说明 ZeRO-3 通信量更大、需 all-gather 参数，但不影响正确性
4. 能关联通信开销与显存节省的权衡