我要招人

互联网/IT行业面试题更新 2026-08-05

GRPO 中 K1、K2、K3 估计的 KL 散度方式有什么区别？

蚂蚁集团人工智能互联网/IT风险判断技术原理

考察说明

考察对 KL 散度不同估算方法及其在 GRPO 中应用的理解

回答思路

  1. 能分别说明 K1、K2、K3 各对应的 KL 计算形式
  2. 能理解不同估计方法的方差与偏置特性
  3. 能结合 GRPO 训练说明常见默认选择及原因