请详细介绍 DeepSpeed 的三个 ZeRO 阶段及其与参数(如 offload、partition 策略)的配合关系。
考察说明
考察对 DeepSpeed ZeRO 各阶段机制原理及参数配置的理解
回答思路
- 准确说明 ZeRO 各阶段分区的内容(优化器状态、梯度、参数)
- 清晰解释每个阶段显存节省与通信开销的权衡
- 结合实际参数(如 zero_optimization、offload_optimizer、offload_param)说明如何配置
- 能说出典型场景下如何选择 stage 和参数
考察对 DeepSpeed ZeRO 各阶段机制原理及参数配置的理解