LoRA 的核心思想是什么？它为什么能显著降低大模型微调的显存和计算开销？

Question

Accepted Answer

考察点：考察对低秩适配原理及资源开销来源的理解。回答思路：准确阐述低秩分解冻结预训练权重的核心思想 说明只训练低秩增量矩阵而非全量参数 解释显存和计算开销降低的机制，包括不更新优化器状态和梯度 能提及推理时可合并权重、无额外延迟

考察说明