决策树的四个毛病

一、只能横平竖直

树的每一刀都平行于坐标轴。如果真实的边界是斜的,树只能用很多小台阶去逼近。

棋盘数据树画得很好,但换成斜线边界就不是它的强项

台阶要逼近一条斜线,深度得翻倍地涨。而深度一大,过拟合跟着来。

有个缓解办法是换坐标系——把特征旋转一下再喂给树。但选什么旋转是人的事,不是树自己能学会的。

二、极不稳定

这条最反直觉:训练集里改一个样本,整棵树可能面目全非。

原因在根节点的选择。如果两个特征的信息增益是 0.247 和 0.246,只差 0.001,根的决策就完全取决于是谁。 而根一换,下面所有子树全变。

这意味着“这棵树长这样”不是可靠的知识

线性回归里,你说“面积每多 1 平米,价格涨 2.99 万”,这个系数是稳的——换个随机种子基本不变。

树里你说“先看天气再看湿度”,换个数据划分可能变成“先看湿度再看天气”。 两个都错,也都不错——它们只是对同一份数据的两种等价解释。

三、不能外推

上一课讲过了:叶子输出均值,超范围的地方只能平着走。

这一点在回归树上很明显,分类树上不突出(分类本来就不外推)。

四、偏爱取值多的特征

假设每个样本都有一个“编号”特征:1、2、3……14,两两不同。

拿它来分裂,能分出 14 组,每组 1 个样本,每组的熵都是 0。信息增益算出来是 0.940——满分!

基尼公式自身的缺陷

“编号”和“打球”毫无关系,但它拿了满分,因为它能把数据切成 14 份一份一个。

这就是对高基数特征的偏好:取值越多的特征,越容易把数据切碎,越容易拿到高增益。

修法是有的(增益率、限制分支数),但根本问题在于:单棵树太容易给自己找到“看起来很好”的切法。

一根救命稻草

回到第二个毛病:不稳定。

一棵树不稳定,是因为它只看到了一份数据、只用了一部分特征,然后把结论下得很死。

那如果训练一百棵不一样的树,让它们投票呢?

下一代

一百棵树里,每棵都是因为不同的偶然因素长歪的。歪的方向不一样,平均之后会互相抵消,而它们共同抓住的真实规律会留下来。

这个想法叫集成。下一章讲它,以及为什么它能让表格数据上的决策树从“能用”变成“最强”。

而且你会发现,“偏爱高基数特征”这个问题,会被顺手解决掉。