多模态模型的DPO训练是如何进行的？如何构造偏好数据？

Question

Accepted Answer

考察点：考察多模态偏好对齐的训练流程与数据构造方法。回答思路：说明多模态DPO的训练目标与优化对象 描述偏好对（chosen/rejected）的构造方式 讨论视觉与文本输入的配对及标注策略 提到奖励信号与参考模型的使用

考察说明