为什么有了 reward model 还需要 critic model？critic model 的作用是什么？
考察说明
考察对 RLHF 中价值估计与奖励建模差异的理解
回答思路
- 能区分 reward model 的全局奖励与 critic model 的累积价值估计
- 解释 critic model 用于计算优势函数、降低策略梯度方差
- 说明 critic model 关注状态或状态动作价值而非最终奖励
- 能结合 PPO 等算法说明 critic 的网络结构与更新方式
本题已收录答题指导
本题附完整参考答案与评分标准
登录后可查看结构化答题指导；也可以直接开一场模拟面试，AI 面试官用本题实时追问并给出评分。