为什么强化学习训练会存在不稳定的问题？

回答思路

1. 能指出奖励信号稀疏或高方差导致梯度估计不稳定
2. 能说明策略与环境交互造成数据非独立同分布、样本相关性强
3. 能提及目标网络、经验回放等缓解机制
4. 能联系不收敛、崩溃等典型现象