人工智能面试题更新 2026-08-05

在深度学习模型训练中,权重初始化有哪些作用?请具体说明。

人工智能技术原理

考察说明

考查对权重初始化机制及其对训练影响的理解。

回答思路

  1. 【回答框架 1】权重初始化决定模型参数的初始状态,直接影响梯度传播的稳定性。合理初始化可避免梯度消失或爆炸,加速收敛。
  2. 【回答框架 2】常见方法包括零初始化、随机初始化、Xavier/He初始化等。零初始化会导致神经元对称,无法打破对称性;随机初始化需控制方差。
  3. 【回答框架 3】Xavier初始化适用于激活函数为线性或tanh的网络,He初始化针对ReLU设计,可保持前向与反向传播中方差稳定。
  4. 【回答框架 4】不恰当初始化可能导致训练失败,如梯度消失、收敛慢或陷入局部最优。最终效果需结合网络结构和激活函数选择。
  5. 【回答框架 5】实际应用中常采用预训练模型或特定初始化策略作为起点,但核心目标是提供良好的初始梯度条件。
  6. 【关键点 1】权重初始化直接影响梯度消失/爆炸和收敛速度。
  7. 【关键点 2】不同激活函数需匹配不同初始化方法,如ReLU常用He初始化。
  8. 【关键点 3】打破对称性是随机初始化的关键原因。
  9. 【易错点 1】不能保证完全避免梯度问题,需结合归一化等技巧。
  10. 【易错点 2】不存在万能初始化方法,需按网络结构调整。