我要招人

腾讯面试题更新 2026-08-05

估算使用DeepSpeed ZeRO-3微调Qwen2-72B时单卡显存占用量并说明原因

腾讯人工智能互联网/IT问题拆解技术原理DeepSpeed

考察说明

考察大模型分布式训练显存分析能力，以及ZeRO-3的内存优化原理

回答思路

  1. 能列出模型参数、梯度、优化器状态在ZeRO-3下的划分方式
  2. 能估算模型参数本身的内存占用，并考虑混合精度的影响
  3. 能说明激活值和其他临时张量对显存的影响
  4. 能给出合理的单卡显存数量级估算，并解释估算依据