DeepSeek中的奖励模型是如何训练的？

回答思路

1. 说明奖励模型的输入输出形式与训练数据来源
2. 描述排序数据构造与偏好标注方法
3. 解释基于排序损失（如pairwise loss）的优化过程
4. 提及与强化学习微调阶段的衔接