人工智能面试题更新 2026-08-05

在梯度提升框架中,为什么通常不采用深度为1的决策树桩作为基学习器,而是倾向于使用更深一些的决策树?

人工智能技术原理方案权衡

考察说明

考察对梯度提升中基学习器复杂度与偏差方差权衡的理解。

回答思路

  1. 【回答框架 1】决策树桩深度为1,只做一次划分,拟合能力弱,偏差高。梯度提升通过迭代减小残差,若基学习器太弱,则每轮修正有限,需要更多轮次,容易欠拟合。
  2. 【回答框架 2】梯度提升每轮拟合负梯度,较深的树能捕捉特征交互,更快降低残差。但过深会导致过拟合,因此需正则化,如限制深度、叶子节点数、学习率等。
  3. 【回答框架 3】实践中常用4-8层的树,平衡每轮学习能力与泛化,配合收缩显著提升效果。树桩仅在数据量小或方差控制严格时使用,但通常不是默认选择。
  4. 【关键点 1】决策树桩拟合能力弱,偏差大,导致收敛慢、容易欠拟合。
  5. 【关键点 2】较深的树可捕捉特征交互,每轮更有效降低残差,但需防过拟合。
  6. 【关键点 3】树深、学习率等参数需权衡,常用交叉验证确定。
  7. 【易错点 1】误以为树桩方差低就一定利于提升,忽略偏差过大导致的欠拟合。
  8. 【易错点 2】忽视学习率与树深的联合调整,只调其中一个。
  9. 【易错点 3】认为越深越好,导致过拟合。