滴滴面试题更新 2026-08-05

推理一个7B参数的大语言模型大约需要多少显存?请说明主要的影响因素。

滴滴人工智能性能优化问题拆解技术原理

考察说明

考察大模型推理显存占用估算及关键因素

回答思路

  1. 能区分推理与训练显存占用的差异
  2. 能给出7B模型推理显存的合理范围
  3. 能列举影响推理显存的因素并有讲解