原始的PPO是off policy怎么改成on的
考察说明
考察对PPO算法中策略更新机制的理解，特别是重要性采样与on/off-policy的区分
回答思路
- 能说明PPO本身是基于off-policy数据训练的，通过重要性采样进行策略更新
- 能解释PPO的截断目标函数（clipped objective）如何限制更新步长，使其接近on-policy约束
- 能阐述PPO与严格on-policy算法（如TRPO、A2C）的区别，以及为何PPO在实践上被称为近似on-policy
- 能举出具体实施细节，如使用旧策略采样数据、多次epoch更新等
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。