在微调大语言模型时，LoRA模块通常加在哪些层？rank值的设置有什么技巧？

Question

Accepted Answer

考察点：考察对LoRA机制的理解、应用位置选择及超参数调优经验。回答思路：说明LoRA通常加在注意力层的Q、K、V、O投影矩阵上 解释为什么注意力层更适合注入低秩适配器 给出rank设置的常用范围及调整策略 结合具体模型大小和数据量说明经验法则

考察说明