我要招人

专业服务行业面试题更新 2026-08-05

对于一个约 7B 参数的模型，推理一个 token 大概需要多少显存？请给出估算思路。

小红书人工智能专业服务问题拆解技术原理PyTorch

考察说明

考察对模型推理显存估算的工程直觉与计算能力

回答思路

  1. 能正确估算参数存储所需的显存（如 FP16 下约 14GB）
  2. 能区分仅权重与包含 KV Cache 等情况
  3. 能说明从参数数量和精度推导的公式
  4. 能结合实际经验说明预留余量