请详细介绍大模型的预训练、后训练和推理流程，并重点说明 RLHF 中 PPO 与 DPO 的区别。

回答思路

1. 清晰区分预训练、后训练和推理阶段的目标与数据
2. 准确描述 SFT、RM 和 RL 阶段在 RLHF 中的作用
3. 能解释 PPO 的原理（如策略更新、优势函数、裁剪）
4. 比较 DPO 与 PPO 在方法论、稳定性和实现复杂度上的差异