项目用 DPO 缓解幻觉时，如果反而引入了新的幻觉，可能是什么原因？

Question

Accepted Answer

考察点：考察对 DPO 训练机制、幻觉成因和失败模式的理解。回答思路：分析 DPO 偏好数据构造问题，如错误或冲突偏好 讨论训练分布与推理分布不一致导致过拟合 识别奖励模型或参照模型偏移带来的风险 说明原有幻觉未消除但新幻觉被强化的机制

考察说明