模型的SFT和PEFT训练的时候有什么小trick？

Question

Accepted Answer

考察点：考察对监督微调与参数高效微调中实践技巧的理解。回答思路：能区分SFT与PEFT的训练策略差异 覆盖学习率、批次、序列长度等关键超参设定 说明LoRA秩、适配层初始化等PEFT特有技巧 提到数据质量、损失计算与评估策略

考察说明