LoRA 与全参数微调的核心区别是什么？在显存占用和训练效率上各有什么优劣？

回答思路

1. 准确说明 LoRA 冻结原权重、仅训练低秩增量矩阵的核心机制
2. 结合秩、增量矩阵的构成解释参数量的数量级差异
3. 比较显存占用，指出 LoRA 省去优化器状态和梯度存储的优势
4. 说明 LoRA 训练速度更快、可并行切换适配器的效率优势
5. 指出 LoRA 可能存在的容量限制和任务适配度权衡