人工智能面试题更新 2026-08-05

请阐述梯度提升决策树(GBDT)的核心工作机制是怎样的,包括其如何通过迭代优化来提升模型性能。

人工智能技术原理

考察说明

考查对GBDT原理的深入理解,包括其迭代优化目标和基学习器组合方式。

回答思路

  1. 【回答框架 1】GBDT是一种基于加法模型的集成学习方法,其核心思想是串行训练一系列决策树,每棵树拟合前一棵树的负梯度(残差)方向,最终将所有树的结果相加得到预测。
  2. 【回答框架 2】在每轮迭代中,计算当前模型预测值与真实值之间的损失函数负梯度,并以此作为新决策树的拟合目标,通过最小化该轮损失函数来更新模型。
  3. 【回答框架 3】GBDT通过逐步减少残差来逼近真实值,其损失函数可以是平方损失、对数损失等,不同损失函数对应不同应用场景,如回归或分类。
  4. 【回答框架 4】为避免过拟合,GBDT常引入学习率(shrinkage),对每棵树的贡献进行缩放,并采用子采样、限制树深度等正则化手段。
  5. 【回答框架 5】最终模型为所有树的加权和,其预测性能取决于树的数量、深度及学习率等超参数的调优。
  6. 【关键点 1】GBDT是加法模型,每棵树拟合负梯度(残差)方向。
  7. 【关键点 2】迭代优化过程通过最小化损失函数实现。
  8. 【关键点 3】学习率用于控制每棵树的贡献,防止过拟合。
  9. 【关键点 4】适用于回归和分类任务,灵活性强。
  10. 【关键点 5】超参数如树数量、深度需调优。
  11. 【易错点 1】混淆GBDT与随机森林,前者串行、后者并行。
  12. 【易错点 2】忽略学习率对模型稳定性的影响,过大易过拟合。
  13. 【易错点 3】在分类任务中使用不适当的损失函数导致性能下降。