人工智能面试题更新 2026-08-05

请列举几种常用的模型微调策略,并分别说明它们的优点和缺点。

人工智能技术原理技术选型方案权衡

考察说明

考查对模型微调策略的掌握程度,包括不同策略的原理、适用场景及权衡。

回答思路

  1. 【回答框架 1】全量微调(Full Fine-tuning)指对预训练模型的所有参数进行更新,优点是能充分适应目标任务,性能上限高;缺点是计算和存储成本高,需要大量标注数据,且容易过拟合,部署时需保存完整模型副本。
  2. 【回答框架 2】参数高效微调(PEFT)如LoRA、Adapter、Prefix-tuning等,只更新少量额外参数或低秩矩阵,优点是显存占用低、训练速度快、可插拔部署,适合多任务场景;缺点是性能可能略低于全量微调,且需要针对不同任务设计适配结构。
  3. 【回答框架 3】提示微调(Prompt Tuning)通过优化连续提示向量或离散提示文本,冻结模型主体,优点是参数极少、训练成本低,适合大模型;缺点是效果依赖提示设计,对复杂任务可能不够稳定。
  4. 【回答框架 4】对比选择时,需考虑数据量、算力、任务复杂度、部署要求:数据充足且追求极致性能可选全量微调;资源受限或多任务场景优先PEFT;超大模型或快速迭代场景可尝试提示微调。
  5. 【回答框架 5】实际应用中常结合策略,如先用PEFT快速验证,再决定是否全量微调;同时需监控过拟合和灾难性遗忘风险。
  6. 【关键点 1】全量微调性能高但成本高,易过拟合。
  7. 【关键点 2】PEFT(LoRA、Adapter等)在资源受限时性价比高,性能接近全量。
  8. 【关键点 3】提示微调参数最少,适合大模型但稳定性需验证。
  9. 【关键点 4】选择策略需权衡数据量、算力、任务复杂度和部署需求。
  10. 【关键点 5】可组合使用策略,并注意灾难性遗忘。
  11. 【易错点 1】不能断言PEFT一定优于全量微调,性能取决于任务和数据。
  12. 【易错点 2】提示微调并非对所有任务都有效,复杂推理任务可能效果不佳。
  13. 【易错点 3】忽略过拟合和灾难性遗忘风险,尤其在数据量小时。