字节跳动面试题更新 2026-08-05
请比较 DPO、PPO、GRPO 三种算法的优化目标有何不同。
字节跳动人工智能互联网/IT技术原理方案权衡
考察说明
考察对主流偏好优化算法的目标函数与适用场景的理解
回答思路
- 正确说明 PPO 基于奖励模型的策略优化与 clip 机制
- 正确说明 DPO 直接基于偏好对的隐式奖励去优化策略
- 正确说明 GRPO 去掉 critic 网络并用组内相对优势估计
- 能对比三者对奖励模型、参考模型和计算资源的依赖
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
