RLHF 中 reward model 常用的损失函数（如 ranking loss）是什么？请说明其原理和公式。

回答思路

1. 能写出排名损失（ranking loss）的公式并解释其作用
2. 说明奖励模型为何采用成对比较而非绝对打分
3. 解释对数 sigmoid 形式的由来及优化目标
4. 结合实际说明训练数据构造（如两两比较/束内排序）
5. 指出损失函数对奖励模型输出尺度的影响