我要招人

快手面试题更新 2026-08-05

请介绍PPO和GRPO在大语言模型强化学习训练中的主要问题，并说明DAPO如何针对性地解决这些问题。

快手人工智能互联网/IT持续改进技术原理方案权衡

考察说明

考察对LLM强化学习算法演进的理解及DAPO改进点的掌握

回答思路

  1. 准确指出PPO或GRPO的关键缺陷，如熵崩溃、奖励噪声、训练不稳定
  2. 清晰说明DAPO的核心改进机制（如动态采样、裁剪策略、奖励归一化等）
  3. 能够对比改进前后效果并解释原因
  4. 展示对相关论文或实践细节的了解
  5. 能延伸讨论局限或替代方案