小鹏汽车面试题更新 2026-08-05
请解释 DPO 的基本原理及其 loss 的计算方式。
小鹏汽车人工智能消费品/零售技术原理方案权衡
考察说明
考察对 DPO 算法核心思想和优化目标的理解
回答思路
- 说明 DPO 将 RLHF 的奖励建模与策略优化合并的思路
- 准确描述 DPO loss 公式中偏好对被选择的 log 概率项
- 解释如何从 Bradley-Terry 模型推导出隐式奖励
- 对比 DPO 与 RLHF 在训练流程上的简化
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
