机器学习›第 10 章 决策树›回归树
回归树
只改一个地方
分类树的叶子输出“哪一类”。回归树的叶子输出这个叶子里所有样本的平均值。
其他全一样:还是问“某个特征是否大于某个值”,还是选增益最大的特征,还是可以剪枝。
“熵”换成什么
分类用的是熵或基尼。回归不能用了——连续值没有“类别比例”。
换成方差(或均方误差):一个叶子里 y 值越集中越好。切完之后各组方差越小,说明切得越好。
预测是阶梯状的

这张图暴露了回归树最本质的特点:它的预测是分段常数。
每个叶子对应 x 轴上一段区间,这段区间里所有点都预测同一个值。区间边界处直接跳变。
它永远不会外推
看图的右端:真实的曲线还在往下掉,但树的预测在最后一个台阶之后就平了。
因为叶子输出的是训练样本的均值。超出训练数据范围的地方没有样本,树只能说“和边界那个叶子一样”。
对比一下线性回归:给它一个很远的 x,它会沿着直线一直延伸出去。哪个对?取决于业务——房价模型给出一个负价格显然荒谬,这时候不外推反而是好事。
深度越大台阶越细
深度 2 只有 4 个叶子,所以最多 4 个台阶,看着很粗糙(欠拟合)。
深度 4 有 16 个台阶,贴合得好多了。再深就会开始追着噪声走——台阶细到每个样本一级,那是过拟合。
和分类树一模一样:深度是一个要调的参数。
它擅长什么
回归树在两类问题上特别好用:
特征之间有交互:比如“面积大并且楼层高才贵”,线性模型表达不了“并且”
特征量纲差异大:树只比较大小,不需要归一化(第三课那个麻烦在这里不存在)
不擅长的是:目标本身平滑、需要精确数值的场景。阶梯状预测在这种地方天然吃亏。
这一课解决了什么
分类和回归用同一套结构,只换叶子的输出和分裂标准。
到这里决策树讲完了。但它有四个明显的毛病,其中一个直接引出下一章。