请对比 DPO、PPO、GRPO 三种方法的原理、loss 计算和适用场景。

回答思路

1. 对比 DPO 与 PPO/GRPO 在 off-policy/on-policy 上的本质差异
2. 对比 PPO 与 GRPO 在 critic 网络和优势估计上的差异
3. 说明三者在数据需求、计算成本和稳定性上的取舍
4. 结合具体场景给出选型理由