请详细说明PPO算法在强化学习中的核心步骤及其在RLHF中的应用。

回答思路

1. 能清晰描述PPO的目标函数与重要性采样
2. 解释裁剪目标函数的作用与优势
3. 说明在RLHF中奖励模型、参考模型与KL散度约束的用途
4. 能指出PPO训练中的常见问题（如过优化、奖励黑客）
5. 能提及PPO需要多个模型（策略、参考、奖励等）及其资源消耗