随机森林:再随机一次

改动只有一行

Bagging 的每棵树,在选分裂特征时会看全部特征。

随机森林加一条限制:每次分裂,只从随机挑出的一小部分特征里选最优。

抽多少

分类问题通常取 d\sqrt{d}(dd 是特征总数)。10 个特征就每次只看 3 个。

回归问题通常取 d/3d/3。sklearn 里的参数叫 max_features。

为什么这一行有用

回到上一课那个漏洞:某个特征强到所有树的根节点都选它。

现在每次分裂只从 3 个候选里挑。如果那个最强特征这次没被抽到,树就只能用别的特征做根。

结果:树的形状被迫变得不一样了。

我用同一份数据测了一下:

方法

测试准确率

树之间的两两一致率

Bagging(看全部特征)

0.847

0.713

随机森林(每次看 √d 个)

0.847

0.561

注意这两个数字

准确率完全打平。随机森林在这里没赢。

但一致率从 0.713 掉到 0.561——树确实变得更不一样了。

这意味着:这份数据比较小,多样性带来的收益还没体现出来。数据更大、特征更多时,这个差异才会转成准确率的差距。

更重要的是:一致率下降是机制,准确率上升是结果。机制对了,结果在别处才会出现。

顺手解决的老问题

第 10 章讲过决策树的一个毛病:偏爱取值多的特征。一个"编号"特征能切出 14 组、每组一个样本,信息增益满分。

随机森林怎么治它?不是直接治,是让它治不了。

"编号"特征再强,也只有约 d/d\sqrt{d}/d 的概率被抽到。没抽到的那次,树只能用别的特征。

于是这个假特征最多污染一部分树,剩下的树没被污染。投票时,被污染的少数派被压过去。

常见参数

参数

作用

怎么定

n_estimators

多少棵树

越大越稳,收益递减。几百通常够

max_features

每次看几个特征

分类默认 √d,一般不用改

max_depth

每棵树最多多深

随机森林里通常不限制,让树长满

min_samples_leaf

叶子最少几个样本

数据噪声大时调大一点

为什么随机森林里反而不剪枝

单棵树长满会过拟合。但一堆长满的树平均起来就不过拟合了——每棵树记住的噪声不一样,一平均就抵消了。

这和第 10 章的直觉相反,值得单独记住:集成改变了对单个模型的复杂度要求。

这一课解决了什么

随机森林 = Bagging + 每次分裂随机看一部分特征。核心收益是降低树之间的相关性。

它还有一个副产品:知道自己觉得哪个特征重要。下一课讲这个。