请介绍你对强化学习（RL）的了解，并详细讲解 PPO 的原理。

回答思路

1. 清晰阐述强化学习的基本框架（智能体、环境、状态、动作、奖励）
2. 准确说明 PPO 的目标函数及其与策略梯度的关系
3. 解释 PPO 中重要性采样和裁剪（clip）的作用
4. 说明 PPO 如何通过裁剪限制策略更新幅度以稳定训练
5. 理解 PPO 的广义优势估计（GAE）及其用途