请解释长短时记忆网络(LSTM)相对于标准循环神经网络(RNN)在缓解梯度消失问题上的具体机制是什么?
考察说明
考查对LSTM门控机制和梯度流动原理的理解。
回答思路
- 【回答框架 1】RNN的梯度消失源于反向传播时梯度连乘,长时间依赖导致梯度指数衰减。
- 【回答框架 2】LSTM通过引入输入门、遗忘门、输出门和记忆细胞,使信息可以线性传递。
- 【回答框架 3】关键机制是细胞状态C的加性更新,即新状态等于旧状态乘以遗忘门加新候选,这提供了梯度高速公路。
- 【回答框架 4】遗忘门允许网络学习选择性保留历史信息,缓解长期依赖问题。
- 【回答框架 5】LSTM的梯度流动路径更直接,但并非完全解决梯度问题,仍需梯度裁剪等辅助手段。
- 【关键点 1】LSTM通过细胞状态的加性更新使梯度可以稳定回传。
- 【关键点 2】遗忘门的开合程度控制历史信息保留比例。
- 【关键点 3】相比RNN的连乘,LSTM的梯度路径更接近恒等映射。
- 【易错点 1】误以为LSTM完全消除梯度消失,实际仍可能发生。
- 【易错点 2】忽略门控非线性对梯度的影响。