Critic Model 在强化学习中的作用是什么？为什么有了 Reward Model 还需要 Critic Model？

回答思路

1. 正确区分 Reward Model 与 Critic Model 的角色
2. 说明 Critic Model 作为价值函数在策略优化中的作用
3. 解释 Critic Model 在方差削减、信用分配中的价值
4. 结合做法说明两者互补关系