人工智能面试题更新 2026-08-05

请解释长短时记忆网络(LSTM)相对于标准循环神经网络(RNN)在缓解梯度消失问题上的具体机制是什么?

人工智能技术原理

考察说明

考查对LSTM门控机制和梯度流动原理的理解。

回答思路

  1. 【回答框架 1】RNN的梯度消失源于反向传播时梯度连乘,长时间依赖导致梯度指数衰减。
  2. 【回答框架 2】LSTM通过引入输入门、遗忘门、输出门和记忆细胞,使信息可以线性传递。
  3. 【回答框架 3】关键机制是细胞状态C的加性更新,即新状态等于旧状态乘以遗忘门加新候选,这提供了梯度高速公路。
  4. 【回答框架 4】遗忘门允许网络学习选择性保留历史信息,缓解长期依赖问题。
  5. 【回答框架 5】LSTM的梯度流动路径更直接,但并非完全解决梯度问题,仍需梯度裁剪等辅助手段。
  6. 【关键点 1】LSTM通过细胞状态的加性更新使梯度可以稳定回传。
  7. 【关键点 2】遗忘门的开合程度控制历史信息保留比例。
  8. 【关键点 3】相比RNN的连乘,LSTM的梯度路径更接近恒等映射。
  9. 【易错点 1】误以为LSTM完全消除梯度消失,实际仍可能发生。
  10. 【易错点 2】忽略门控非线性对梯度的影响。