如果DPO训练的过程中发现loss不降，如何定位原因？请从数据构造和训练参数两个角度分析。

回答思路

1. 能系统识别数据构造中的问题，如偏好对质量、配对一致性、prompt分布
2. 能系统识别训练参数问题，如学习率、batch size、beta、训练步数
3. 能给出具体定位方法和实验验证思路
4. 能区分损失不降的常见原因并制定排查优先级