请解释 PPO（Proximal Policy Optimization）算法中 Advantage Function 的作用及其计算方式。
考察说明
考察对强化学习中 PPO 算法核心组件 Advantage Function 的理解
回答思路
- 说明 Advantage Function 的定义（Q 值减基线）及减少方差的作用
- 解释 GAE（Generalized Advantage Estimation）或类似方法如何平衡偏差与方差
- 联系 PPO 目标函数（如 clip 项）说明优势值如何影响更新方向与幅度
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。