互联网/IT行业面试题更新 2026-08-05
请比较直接偏好优化（DPO）和近端策略优化（PPO）的原理与适用场景。
快手人工智能互联网/IT技术原理技术选型方案权衡
考察说明
考察对两种主流 RLHF 微调方法的原理理解、区别及适用场景
回答思路
- 准确阐述 PPO 的价值函数、优势估计与裁剪机制
- 准确阐述 DPO 将偏好损失转化为分类目标的思想
- 对比两者在训练稳定性、计算资源、数据需求上的差异
- 说明各自的适用场景与局限
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
