请解释LoRA的原理，并说明其初始化的常见做法，例如A和B矩阵是否可以全零或全高斯初始化？

Question

Accepted Answer

考察点：考察对LoRA核心原理和初始化策略的理解。回答思路：准确描述低秩分解的思想及对增量参数的限制 说明全零和全高斯初始化的区别及推荐方式 能解释不同初始化对训练稳定性和收敛的影响

考察说明