将 LoRA 插在 LayerNorm 之后会对训练稳定性造成什么影响？

Question

Accepted Answer

考察点：考察对归一化层后插入低秩模块导致训练不稳定机制的理解。回答思路：指出扰动归一化分布可能影响梯度传播 说明低秩更新与归一化统计的耦合问题 提出缓解方法或替代方案

考察说明