请介绍PPO和GRPO在大语言模型强化学习训练中的主要问题，并说明DAPO如何针对性地解决这些问题。

回答思路

1. 准确指出PPO或GRPO的关键缺陷，如熵崩溃、奖励噪声、训练不稳定
2. 清晰说明DAPO的核心改进机制（如动态采样、裁剪策略、奖励归一化等）
3. 能够对比改进前后效果并解释原因
4. 展示对相关论文或实践细节的了解
5. 能延伸讨论局限或替代方案