哔哩哔哩面试题更新 2026-08-05
DPO的做法上有什么难处，从数据和模型上来说？
哔哩哔哩人工智能问题拆解风险判断技术原理
考察说明
考察对DPO训练数据要求和模型更新限制的理解
回答思路
- 能指出DPO需要偏好数据（choose/reject对）及其构造难点
- 能说明模型在下游任务或固定参考模型上的过拟合风险
- 能讨论DPO在训练中稳定性、超参数敏感性和分布偏移问题
- 能提及数据质量、多样性和对齐数据偏差对效果的影响
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。
