请介绍RLHF（基于人类反馈的强化学习）技术的基本原理及其在模型训练中的作用。

回答思路

1. 明确RLHF的四个阶段：监督微调、奖励模型训练、策略优化、迭代
2. 解释奖励模型如何利用人类偏好数据学习打分
3. 说明强化学习阶段（如PPO）如何优化策略模型
4. 指出RLHF的作用，如对齐人类意图、提升有用性与安全性
5. 了解常见问题，如奖励欺骗、过优化，及缓解策略