介绍DPO算法的原理，以及训练过程中需要注意的地方。

回答思路

1. 能准确描述DPO的目标函数和核心思想（直接偏好优化，无需显式奖励模型）
2. 解释DPO如何从RLHF的奖励建模加强化学习步骤简化而来，说明其公式推导的关键逻辑
3. 覆盖训练过程中的典型问题，如数据质量、偏好对构造、过拟合、参考模型冻结等
4. 提出实际训练中避免奖励黑客或分布偏移的注意事项