人工智能面试题更新 2026-08-05

请列举并说明你知道的大模型微调方法,并简述各自的适用场景。

人工智能技术原理技术选型方案权衡

考察说明

考察对大模型微调技术体系的了解程度和实际应用经验。

回答思路

  1. 【回答框架 1】大模型微调技术通常分为全参数微调和参数高效微调。全参数微调指对模型所有参数进行更新,代表方法有进一步预训练和指令微调,效果较好但计算资源消耗大。
  2. 【回答框架 2】参数高效微调只更新少量额外参数,常见方法包括LoRA、Adapter和Prefix-Tuning。LoRA通过低秩分解模拟权重更新,Adapter在Transformer层中插入小型网络,Prefix-Tuning在输入序列前添加可学习前缀。这些方法显存占用低,适合资源受限场景。
  3. 【回答框架 3】选择微调方法需考虑数据量、任务类型和资源限制。数据量充足且资源允许时可选择全参数微调;数据量少或需快速迭代时优先考虑LoRA等参数高效方法。
  4. 【回答框架 4】在实际项目中,常用LoRA或QLoRA进行微调,因为它们能在有限显存下实现接近全参数微调的效果。同时需注意避免灾难性遗忘,可结合混合训练或增量学习策略。
  5. 【关键点 1】全参数微调效果上限高但资源消耗大,参数高效微调在资源受限时更具性价比。
  6. 【关键点 2】LoRA通过低秩分解大幅减少可训练参数,是当前主流的高效微调方法。
  7. 【关键点 3】微调方法选择需权衡数据量、任务复杂度和硬件资源。
  8. 【易错点 1】不能简单认为参数高效微调效果必然不如全参数微调,实际效果取决于具体任务和数据。
  9. 【易错点 2】注意灾难性遗忘,微调后应评估模型在原有能力上的表现。