请介绍几种神经网络底层优化的方法，并说明它们如何提升训练效率或模型性能。

Question

Accepted Answer

考察点：考察对神经网络训练优化方法的系统理解与实际应用能力。回答思路：列举常见的底层优化方法，如梯度下降变体、学习率调度、正则化、批归一化等 说明每种方法的原理及其对训练效率或模型性能的影响 能够结合实际场景选择或组合优化方法，并解释理由

考察说明