请详细解释 RLHF（基于人类反馈的强化学习）的原理，重点介绍 PPO 算法的工作原理。

回答思路

1. 清晰说明 RLHF 的三阶段流程（SFT、奖励模型训练、PPO 微调）
2. 准确解释 PPO 的损失函数、重要性采样和裁剪机制
3. 能说明 PPO 相比普通策略梯度的优势及在 RLHF 中的具体作用