请介绍优化器从 SGD 到 Adam 的发展历史，以及各主要优化器的公式和优缺点。

Question

Accepted Answer

考察点：考察深度学习优化算法的演进脉络、公式推导和适用场景理解。回答思路：梳理从 SGD、Momentum、RMSProp 到 Adam 的演进逻辑 准确写出各优化器核心更新公式或关键思想 对比各优化器优缺点及适用场景 说明 Adam 如何结合动量与自适应学习率

考察说明