DPO（直接偏好优化）训练的过程是怎样的？正负样本（偏好对）的概率如何计算？

回答思路

1. 说明DPO的训练流程：基于SFT模型构造偏好数据集，通过偏好损失直接优化策略
2. 解释正负样本（偏好对）概率计算：使用语言模型对序列的log概率或对数赔率，通过sigmoid函数计算偏好概率
3. 说明DPO如何避免强化学习的复杂奖励建模和采样
4. 能说明DPO与PPO等传统RLHF方法的区别