我要招人

淘天集团面试题更新 2026-08-05

对一个7B参数的模型进行参数高效微调，大致需要多少GPU显存，通常需要保存哪些参数和状态？

淘天集团人工智能互联网/IT性能优化技术原理方案权衡PyTorch

考察说明

考察大模型微调的显存开销构成与参数保存范围的估算能力

回答思路

  1. 能估算模型权重占用的显存基数
  2. 能区分优化器状态、梯度、激活值的显存开销并给出粗略量级
  3. 能区分全量微调与LoRA等参数高效微调的显存差异
  4. 能说明需要保存的模型参数、优化器状态及可适配器参数