随机森林:再随机一次
改动只有一行
Bagging 的每棵树,在选分裂特征时会看全部特征。
随机森林加一条限制:每次分裂,只从随机挑出的一小部分特征里选最优。
抽多少
分类问题通常取 ( 是特征总数)。10 个特征就每次只看 3 个。
回归问题通常取 。sklearn 里的参数叫 max_features。
为什么这一行有用
回到上一课那个漏洞:某个特征强到所有树的根节点都选它。
现在每次分裂只从 3 个候选里挑。如果那个最强特征这次没被抽到,树就只能用别的特征做根。
结果:树的形状被迫变得不一样了。
我用同一份数据测了一下:
方法 | 测试准确率 | 树之间的两两一致率 |
|---|---|---|
Bagging(看全部特征) | 0.847 | 0.713 |
随机森林(每次看 √d 个) | 0.847 | 0.561 |
注意这两个数字
准确率完全打平。随机森林在这里没赢。
但一致率从 0.713 掉到 0.561——树确实变得更不一样了。
这意味着:这份数据比较小,多样性带来的收益还没体现出来。数据更大、特征更多时,这个差异才会转成准确率的差距。
更重要的是:一致率下降是机制,准确率上升是结果。机制对了,结果在别处才会出现。
顺手解决的老问题
第 10 章讲过决策树的一个毛病:偏爱取值多的特征。一个"编号"特征能切出 14 组、每组一个样本,信息增益满分。
随机森林怎么治它?不是直接治,是让它治不了。
"编号"特征再强,也只有约 的概率被抽到。没抽到的那次,树只能用别的特征。
于是这个假特征最多污染一部分树,剩下的树没被污染。投票时,被污染的少数派被压过去。
常见参数
参数 | 作用 | 怎么定 |
|---|---|---|
| 多少棵树 | 越大越稳,收益递减。几百通常够 |
| 每次看几个特征 | 分类默认 √d,一般不用改 |
| 每棵树最多多深 | 随机森林里通常不限制,让树长满 |
| 叶子最少几个样本 | 数据噪声大时调大一点 |
为什么随机森林里反而不剪枝
单棵树长满会过拟合。但一堆长满的树平均起来就不过拟合了——每棵树记住的噪声不一样,一平均就抵消了。
这和第 10 章的直觉相反,值得单独记住:集成改变了对单个模型的复杂度要求。
这一课解决了什么
随机森林 = Bagging + 每次分裂随机看一部分特征。核心收益是降低树之间的相关性。
它还有一个副产品:知道自己觉得哪个特征重要。下一课讲这个。