DeepSpeed ZeRO-3 为什么比 ZeRO-2 更省显存？

回答思路

1. 准确说明 ZeRO-2 只切分优化器状态和梯度，模型参数仍完整复制
2. 准确说明 ZeRO-3 进一步切分模型参数，各设备只保留分片
3. 能解释参数在需要时动态聚合（all-gather）并在用后释放
4. 能说明 ZeRO-3 省显存同时带来的通信开销增加