我要招人

MiniMax面试题更新 2026-08-05

使用DeepSpeed ZeRO-3微调Qwen2-72B时，每张GPU卡占用显存大约多少？请给出估算思路和关键决定因素。

MiniMax人工智能性能优化问题拆解DeepSpeed

考察说明

考察大模型微调显存估算能力和对ZeRO-3机制的理解

回答思路

  1. 能列出显存主要组成部分：模型参数、梯度、优化器状态、激活值等
  2. 能利用ZeRO-3分区特性估算每卡参数相关显存
  3. 能考虑混合精度、激活值计算和batch size等关键变量
  4. 能给出一个大致量级而非精确值