如果你有一个待优化的模型和一堆 query，你会如何使用 PPO 来优化模型？

回答思路

1. 说明 PPO 优化的目标，如对齐、奖励最大化或生成质量提升
2. 描述奖励模型的构建和奖励信号的获取方式
3. 阐述策略模型、参考模型、价值模型和奖励模型的整体框架
4. 覆盖稳定性、过优化、奖励黑客等风险及应对策略
5. 提及数据采样、训练迭代和超参数调整的 Practical 细节