请解释RLHF中PPO算法的核心思想，并说明其中包含多少个模型，各自的作用是什么？

回答思路

1. 准确指出PPO涉及的模型数量（通常为四个：策略模型、参考模型、奖励模型、价值模型）
2. 清晰说明每个模型在PPO训练中的职责
3. 体现对RLHF整体流程（监督微调、奖励建模、强化学习）的衔接
4. 能够解释价值模型与策略模型在优化目标中的区别