训练一个 7B 参数规模的模型大约需要多少显存？不同 DeepSpeed ZeRO 阶段分别能节省多少显存？

回答思路

1. 能拆分模型参数、梯度、优化器状态、激活值的显存开销
2. 能估算 7B 模型在常用精度下的显存基准
3. 能区分 ZeRO-1/2/3 各自削减的对象及大致节省比例
4. 能指出激活重计算、混合精度等额外手段的作用