请介绍RLHF中主流的强化学习算法及其损失函数表达式。

Question

Accepted Answer

考察点：考察对RLHF中强化学习算法原理和损失函数细节的掌握。回答思路：能列举PPO、DPO等主流算法 能准确写出算法的损失函数表达式 能解释损失函数各部分的含义和作用 能比较不同算法的优缺点和适用场景

考察说明