水滴面试题更新 2026-08-05
请解释RLHF、PPO与DPO在语言模型对齐中的原理与差异。
水滴人工智能专业服务技术原理技术选型方案权衡
考察说明
考察对主流对齐算法原理、优化目标及差异的理解深度
回答思路
- 说明RLHF从人类反馈训练奖励模型的总体流程
- 讲清PPO作为RL优化算法在策略更新中的角色与限制
- 解释DPO如何用偏好数据直接优化策略而无需显式奖励模型
- 对比两者在训练稳定性和计算成本上的差异
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
