请解释LoRA的原理，微调哪些层以及矩阵如何初始化，为什么不能都初始化为0？
考察说明
考察对LoRA低秩适配机制、参数冻结策略和初始化方法及反向传播的理解
回答思路
- 解释低秩分解思想，将权重增量表示为AB矩阵乘积
- 明确通常微调注意力层的W_Q、W_K、W_V、W_O，可扩展到前馈层
- 说明A随机初始化、B为零，以使训练开始时与预训练行为一致
- 分析若AB全为0则梯度为零无法更新，或全随机可能导致前期扰动
- 能联系到秩超参r的选择和显存/效果权衡
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。