PPO有几个模型，每个模型的作用是什么，哪些模型需要训练？

Question

Accepted Answer

考察点：考察对PPO算法架构中策略、价值与参考模型角色的理解。回答思路：能准确列出PPO涉及的模型及其数量 说明策略网络、价值网络和参考模型各自的作用 正确区分需要更新和固定的模型 理解裁剪目标与KL约束的机制

考察说明