如果不使用现有深度学习框架，能否手写实现 PPO 算法的核心逻辑？请说明你的实现思路。

Question

Accepted Answer

考察点：考察对 PPO 算法底层原理的掌握和代码实现能力。回答思路：能准确描述 PPO 的损失函数和重要性采样率 能说明广义优势估计 GAE 的计算过程 能处理策略网络和价值网络的更新逻辑 能指出框架提供但需手写的部分，如自动微分

考察说明