请介绍 RLHF 中 PPO 算法的基本原理，并说明它通常包含哪些模型组件。

回答思路

1. 能清晰说明 PPO 在 RLHF 中的角色与目标
2. 能准确指出 actor、reference、reward、critic 等核心模型及其作用
3. 能解释采样、奖励计算、优势估计和策略更新的基本流程
4. 能提及 KL 约束防止策略偏离过大的设计意图