请说明 PPO 算法的核心特点，并解释它使用的 KL 散度与重要性采样之间的关系。
考察说明
考察对 PPO 算法原理、稳定性机制及重要性采样与 KL 散度作用的理解
回答思路
- 准确描述 PPO 的核心特点（稳定性、样本效率、实现简单）
- 解释重要性采样在 PPO 中的用途及新旧策略比
- 说明 KL 散度在 PPO 中的作用（约束更新幅度）
- 厘清二者关系：KL 散度用于约束或惩罚，重要性采样用于估计目标
- 能区分 PPO 不同变体（clip 或 KL 惩罚）的处理方式
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。