如何在有限算力下做大模型微调？常用方法有哪些？

Question

Accepted Answer

考察点：考察大模型微调的资源约束意识、常用参数高效微调方法及适用场景。回答思路：能列出LoRA、QLoRA、PEFT等常用方法 能说明各方法的原理差异和算力优化点 能结合具体场景解释方法选择和权衡 能提到量化、梯度累积、混合精度等辅助手段

考察说明