DeepSpeed 的三个阶段在分配参数时，单机 8 卡和双机 16 卡，每张卡上分配的参数量是一样的吗？为什么？
考察说明
考察对 DeepSpeed ZeRO 分片机制和集群规模对参数分配影响的理解
回答思路
- 明确三个阶段的参数分片方式（ZeRO-1 仅分片优化器状态，ZeRO-2 分片梯度和优化器状态，ZeRO-3 分片参数、梯度和优化器状态）
- 对比单机 8 卡与双机 16 卡时每卡参数分配量的差异
- 解释 ZeRO-3 下整体参数量随卡数增加而减少，单卡参数量相同
- 说明 ZeRO-1/2 下参数不进行分片，单卡参数量不受卡数影响
- 讨论通信开销和内存节省随卡数变化的权衡
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。