请解释 PPO 损失函数，说明其各部分含义，以及 ratio、advantage 和 returns 如何理解，大模型训练中 advantage 如何计算？
考察说明
考察 PPO 算法原理、损失函数构成及大模型场景下的优势估计
回答思路
- 准确写出 PPO 的 clip 目标函数结构
- 解释策略比率 ratio 与新旧策略概率比的关系
- 说明 advantage 的含义及 GAE 计算方式
- 明确 returns 与 advantage 的关系
- 结合大模型 RLHF 说明 advantage 常基于 reward model 与参考模型计算