网易面试题更新 2026-08-05

训练一个7B模型,在常见的混合精度训练下大约需要多少显存?请简要说明主要消耗来源。

网易人工智能互联网/IT性能优化问题拆解技术原理PyTorch

考察说明

考察对模型训练显存占用的量级估算和构成理解

回答思路

  1. 能区分参数、梯度、优化器状态和中间激活的显存消耗
  2. 能说明混合精度(如BF16)下参数和梯度的占用
  3. 能给出合理的总量估算范围并说明估算依据
  4. 能解释激活值对显存的动态影响