RLHF 中 reward model 的训练数据通常是如何构建的？

回答思路

1. 说明偏好数据对（chosen/rejected）的来源
2. 描述人工标注或自动收集的流程
3. 提到数据规模、标注标准与质量控制
4. 结合模型生成与筛选机制