项目:PPO/GRPO 微调后,如何防止模型在分布外(OOD)问题上性能崩塌?

Question

Accepted Answer

考察点：考察强化学习微调后的分布外鲁棒性与泛化保持策略。回答思路：识别OOD问题的成因,如奖励过拟合与分布偏移 提出保持基础能力的方法,如混合训练或正则化 讨论评估与监控机制,如回放集或基准测试

考察说明