人工智能面试题更新 2026-08-05

给定一个7B参数的模型,使用LoRA进行微调时,优化器状态的内存分配是怎样的?请说明优化器所需内存的计算方式。

同花顺人工智能金融问题拆解技术原理PyTorch

考察说明

考察对LoRA参数效率和优化器内存分配的理解

回答思路

  1. 明确LoRA只训练新增的低秩矩阵,冻结原模型参数
  2. 说明7B模型优化器状态仅针对可训练参数计算
  3. 能区分不同优化器(如Adam)的内存占用差异
  4. 计算给出具体数字或比例,展示量化能力