奖励模型和价值模型分别是怎么训练的？

回答思路

1. 说明奖励模型用人类偏好数据训练排序目标
2. 说明价值模型用奖励信号或回报回归训练
3. 说明奖励模型参数相对固定，价值模型随策略迭代更新
4. 能比较两阶段训练数据来源的不同