请解释RNN训练中梯度消失和梯度爆炸的原因及应对方法。

Question

Accepted Answer

考察点：考察对RNN训练中梯度问题的机理理解和解决方案掌握。回答思路：解释链式求导与时间步连乘导致的梯度衰减或增长 说明梯度消失使长期依赖难以学习，梯度爆炸易导致训练不稳定 提出梯度裁剪、LSTM/GRU门控、残差连接、权重初始化等应对策略

考察说明