请详细说明 RLHF（基于人类反馈的强化学习）的实现流程，并解释 DPO（直接偏好优化）的原理，以及两者在训练资源需求上的差异。

回答思路

1. 准确描述 RLHF 的 SFT、奖励模型训练、PPO 强化学习三个阶段
2. 清楚解释 DPO 如何通过偏好对直接优化策略，省略奖励模型和强化学习
3. 对比两者训练卡数、显存和计算资源需求
4. 能指出 DPO 与 RLHF 的优缺点及适用场景