请解释 DPO、PPO 和 GRPO 的原理与主要区别，并写出 DPO 的损失函数。

回答思路

1. 准确说明三者各自的核心思想与训练目标
2. 对比 PPO/GRPO 的强化学习范式与 DPO 的直接偏好优化范式
3. 正确写出 DPO 的损失函数并解释各符号含义
4. 指出 GRPO 相对 PPO 在 critic 网络和优势估计上的差异