在 PPO 微调中,如何防止模型收敛到只生成某类高奖励回答的模式?

Question

Accepted Answer

考察点：考察对奖励黑客和奖励塌缩问题的识别与规避能力。回答思路：指出高奖励回答模式单一化的问题本质 提出奖励多样性约束或多样化奖励设计 讨论利用回放缓冲区或定期评估多样性 说明对奖励模型或评分的校验与调优

考察说明