哔哩哔哩面试题更新 2026-08-05
DPO和PPO有什么区别？包括理论上以及项目实际落地时如何选择？
哔哩哔哩人工智能项目复盘技术原理方案权衡
考察说明
考察对RLHF两种主流算法的理论理解与实际应用能力
回答思路
- 准确阐述DPO和PPO在目标函数、训练方式、稳定性上的核心差异
- 能用直觉或数学简述DPO如何避免显式奖励模型和在线采样
- 结合实际项目说明选择依据、遇过的坑和调参经验
- 对比两者在数据效率、计算资源、收敛稳定性上的表现
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
