估算使用DeepSpeed ZeRO-3微调Qwen2-72B时单卡显存占用量并说明原因

Question

Accepted Answer

考察点：考察大模型分布式训练显存分析能力，以及ZeRO-3的内存优化原理。回答思路：能列出模型参数、梯度、优化器状态在ZeRO-3下的划分方式 能估算模型参数本身的内存占用，并考虑混合精度的影响 能说明激活值和其他临时张量对显存的影响 能给出合理的单卡显存数量级估算，并解释估算依据

考察说明