我要招人

专业服务行业面试题更新 2026-08-05

对于一个约 7B 参数的模型，如果使用 AdamW 优化器进行训练，大致需要多少显存？

小红书人工智能专业服务问题拆解技术原理PyTorch

考察说明

考察对训练显存构成（参数、梯度、优化器状态）的整体估算能力

回答思路

  1. 能列出训练的主要显存项：参数、梯度、优化器状态
  2. 能计算 AdamW 的额外状态量（动量和方差各一份）
  3. 能给出量级合理的估算范围
  4. 能说明混合精度和 ZeRO 等策略对显存的影响