为什么选择 PPO、DPO、GRPO 这类强化学习算法，你认为它们的核心差异和适用场景是什么？

回答思路

1. 准确说明 PPO 的目标函数、裁剪机制与稳定训练原理
2. 解释 DPO 如何从偏好数据直接优化策略，避免显式奖励建模
3. 说明 GRPO 在 PPO 基础上去掉价值网络、基于组内相对优势的改进
4. 能结合样本效率、稳定性、计算成本等维度对比并给出选型理由