百度面试题更新 2026-08-05
PPO、DPO、GRPO 这三种强化学习训练方法有什么区别？
百度人工智能专业服务问题拆解技术原理方案权衡
考察说明
考察对主流强化学习对齐方法的理解与对比能力
回答思路
- 分别说明三种方法的核心思想与优化目标
- 指出 PPO 依赖奖励模型和 Critic 网络，GRPO 去掉 Critic 的优势
- 说明 DPO 如何将偏好直接转为分类损失，简化训练流程
- 能结合实际场景说明各自的优缺点与适用条件
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
