PPO中的Critic模型是如何计算优势的？

回答思路

1. 准确说明Critic模型的输出是状态价值函数V(s)
2. 解释优势函数A(s,a)=Q(s,a)-V(s)与Critic的关联
3. 掌握GAE计算误差δ_t=r_t+γV(s_{t+1})-V(s_t)的递推与λ加权
4. 说明Critic优化目标与价值损失的形式