如果在训练 DPO 的过程中，正例和负例的 loss 都在下降，该如何解决？

回答思路

1. 解释 DPO 中正负例 loss 下降的可能原因
2. 提出监控指标（如 margin、隐层表征）来判断问题
3. 给出针对性调整策略（如学习率、正则化、数据采样）
4. 体现对 DPO 目标与 RLHF 差异的理解