LoRA是否只能应用在Linear层？请从原理角度分析为何通常不推荐其直接作用于LayerNorm层之后。

Question

Accepted Answer

考察点：考察对LoRA适用范围的分析能力及对LayerNorm机制的理解。回答思路：能准确判断LoRA并非只能用于Linear层，但需结合网络结构说明适用性 能解释LayerNorm的仿射变换参数维度较小，低秩分解缺乏意义 能分析在LayerNorm后插入LoRA可能带来的训练稳定性或表达能力问题

考察说明