如何计算PPO中的广义优势估计（GAE）？请说明其原理和作用。

Question

Accepted Answer

考察点：考察优势函数估计的原理、实现及在强化学习中的作用。回答思路：说明优势函数与回报、值函数的关系 正确描述GAE的lambda加权递推公式 解释lambda参数如何权衡偏差和方差 说明GAE如何提高策略梯度估计效率

考察说明