请对比PPO和DPO的优缺点、适用场景，并指出各自的改进方向。

回答思路

1. 能列出PPO与DPO在模型数量、采样效率、稳定性上的差异
2. 能说明PPO适用于在线交互场景，DPO适用于离线数据场景
3. 能提出针对PPO的改进（如精简模型、批量策略更新）
4. 能提出针对DPO的改进（如更好的参考模型、防止过拟合）
5. 能结合数据质量和成本给出选择建议