XGBoost:工程上的极致

先明确一件事

XGBoost、LightGBM、CatBoost 这三个名字,本质上都是梯度提升的工程实现。

它们的算法思路和上一课一样:一棵一棵拟合残差。差别在于怎么把这件事做得又快又好。

为什么它们值得单独提

在表格数据上,这些模型至今仍是最强的。Kaggle 上的结构化数据比赛,获奖方案里几乎都有它们。

神经网络在图像、语音、文本上碾压一切,但换到"几十列数字特征、几万行"的表格数据,GBDT 系列通常更强,而且训练快得多。

三个关键改进

一、二阶信息

普通梯度提升只用一阶导数(梯度)。XGBoost 对损失函数做二阶泰勒展开,同时用梯度和二阶导。

好处是:不依赖具体的损失函数形式。你只要给出损失函数的一阶和二阶导,它就能优化——于是可以自定义任意损失。

二、正则化写进了目标函数

目标函数里显式加了惩罚项:

  • 叶子数量(树不能太多叶子)

  • 叶子权重的 L2 惩罚(每个叶子的输出不能太极端)

这让它天然抗过拟合,不像普通 GBDT 那样全靠调 n_estimators。

三、工程上的速度

这些不是算法创新,但影响巨大:

  • 预排序 + 分块:提前把每个特征排好序存起来,找切分点时不用每次重排

  • 近似分桶:连续特征只试若干个分位点,不试所有值

  • 稀疏感知:缺失值和 0 自动走一条默认分支,不用填充

  • 多线程:特征级别的并行

LightGBM 和 CatBoost 的取舍

LightGBM:用直方图代替预排序,按叶子生长(leaf-wise)而不是按层。更快、更省内存,但数据少时容易过拟合。

CatBoost:专门处理类别特征,用有序目标编码避免"目标泄漏"。类别特征多的时候表现最好。

三个都能用,选哪个更多看数据特点,不是看谁"更先进"。

怎么用

好消息是:用法和 sklearn 里任何模型一样。

fit(X, y) → predict(X)。不需要你手写树、不需要手算梯度。

但需要调参

这是它和随机森林最大的实践差异。

随机森林基本"开箱即用",默认参数效果就不错。GBDT 系列非常依赖调参—— learning_rate、n_estimators、max_depth、subsample、 colsample_bytree、正则项……六个以上互相影响的参数。

调参方法第 15 章讲。

它的局限

三个明显的:

  • 不能外推:继承自决策树,超出训练范围就平着走

  • 对噪声敏感:一直在拟合残差,标签噪声会被反复学习

  • 高维稀疏数据吃亏:文本的 TF-IDF 那种几万维的,不如线性模型

这一课解决了什么

到此,三条建模路线都齐了:线性模型、单棵树、集成(Bagging / Boosting)。

下一个问题很实际:拿到一份数据,我该用哪个?

下一课

该用哪个