请分别说明DPO、PPO和SFT的训练原理、损失函数，以及各自的训练过程中涉及几个模型。

回答思路

1. 准确区分SFT监督微调、PPO强化学习、DPO直接偏好优化的核心原理
2. 正确描述各方法的损失函数形式及作用
3. 说明训练过程中涉及模型数量（如SFT单模型、PPO需策略模型+参考模型+奖励模型+价值模型、DPO需策略模型+参考模型）
4. 体现对DPO如何简化PPO、避免显式奖励模型的理解