请介绍你在实际项目中训练过 RLHF 或 DPO 的经验，并讲解它们的原理。

回答思路

1. 能清晰区分 RLHF 的三个阶段（预训练、奖励模型、强化学习）
2. 能准确解释 DPO 如何通过隐式奖励函数直接优化策略
3. 能结合实际训练经验说明调参、稳定性和资源消耗
4. 能对比 RLHF 与 DPO 的优缺点和适用场景