人工智能面试题更新 2026-08-05

在训练神经网络时,常用哪些正则化技术来抑制过拟合?请列举并说明其原理。

人工智能技术原理

考察说明

考查对神经网络正则化方法的理解及其机制。

回答思路

  1. 【回答框架 1】正则化是降低模型泛化误差、防止过拟合的手段。常见方法包括 L1/L2 权重正则化、Dropout、数据增强、早停、Batch Normalization 等。
  2. 【回答框架 2】L2 正则化(权重衰减)通过在损失函数中增加权重的平方和惩罚项,强制权重趋于较小值,限制模型复杂度。L1 正则化使用权重绝对值之和,能产生稀疏权重,常用于特征选择。
  3. 【回答框架 3】Dropout 在训练时随机丢弃部分神经元(按概率 p),使网络不能依赖特定神经元,从而增强鲁棒性;测试时使用全部神经元并按比例缩放。
  4. 【回答框架 4】数据增强通过对输入进行随机变换(如翻转、裁剪、旋转)来扩充训练集,增加样本多样性,降低过拟合。早停根据验证集性能在过拟合前停止训练。
  5. 【回答框架 5】Batch Normalization 通过标准化每层输入,稳定分布,也具有轻微正则化效果。实际应用中常组合使用多种方法,并需根据数据量和模型规模调参。
  6. 【关键点 1】L1 产生稀疏解,L2 平滑权重;Dropout 是训练时随机失活神经元;数据增强和早停基于数据或训练策略。
  7. 【关键点 2】权重衰减系数、Dropout 丢弃率等超参数需实验调节,不是越大越好。
  8. 【易错点 1】误以为 Dropout 测试时也需要随机失活,实际上测试时全部使用并缩放权重。
  9. 【易错点 2】将正则化等同于保证模型不欠拟合,需平衡方差与偏差。