DPO阶段相比SFT阶段数据和模型分布的区别

Question

Accepted Answer

考察点：考察对RLHF后训练流程中SFT与DPO阶段数据样本和模型分布差异的理解。回答思路：能对比SFT与DPO训练数据的来源、格式和标注方式 能说明SFT与DPO训练时模型参数分布或行为分布的变化 能解释DPO中偏好对拒绝采样的影响 能指出DPO直接优化策略与SFT最大似然估计的本质区别

考察说明