用 DeepSpeed ZeRO-3 微调 Qwen2-72B，每张卡占用显存大概是多少？请估算并解释为什么占这么多显存。

回答思路

1. 能根据 ZeRO-3 将模型参数、梯度和优化器状态切分到各卡进行计算
2. 能估算基础显存：模型权重（约 144GB）、梯度和优化器状态（如 Adam 的额外开销）
3. 能考虑激活值、微调时的额外显存开销，以及 ZeRO-3 的 offload 选项
4. 能给出合理的每卡显存范围并说明计算依据