请分别说明 PPO、GRPO、DPO 的损失函数设计思路及主要区别。

回答思路

1. 准确写出或描述 PPO 的 clipped surrogate 目标及其重要性采样修正
2. 说明 GRPO 如何用组内相对优势替代 Critic 网络以降低方差
3. 解释 DPO 如何将偏好学习转为分类损失，避免显式奖励建模与强化学习采样
4. 对比三者在稳定性、计算开销和适用场景上的差异