请介绍 DPO 损失函数，并解释为什么采用减法形式。

回答思路

1. 能写出 DPO 损失函数表达式并解释各符号含义
2. 说明损失函数如何通过隐式奖励建模实现偏好优化
3. 解释减法形式的来源：从 Bradley-Terry 模型推导出对数概率差
4. 说明与传统 RLHF 相比，DPO 如何避免显式奖励模型和强化学习流程