习题

题目

第一题 一个节点里有 6 个正样本、2 个负样本。算它的熵。

第二题 接上题,按特征 A 分成两组:(4 正 0 负) 和 (2 正 2 负)。算信息增益。

第三题 下面两个分裂方案,哪个更好?为什么?

  • 方案甲:分成 4 组,熵分别是 0.9、0.8、0.7、0.6,四组一样大

  • 方案乙:分成 2 组,熵分别是 0.2、0.9,前一组占 90%

第四题 为什么 sklearn 默认用基尼而不是熵?答案里不要出现“因为它是默认值”。

第五题 一棵深度为 dd 的二叉树,最多有多少个叶子?如果一个叶子的样本数不能少于 5,训练集有 1000 条,深度最多该设多大?

第六题 训练误差降到 0,验证误差却不动。这说明什么?该调什么参数?

第七题 为什么决策树不需要特征归一化?

提示

第一题记得 pp 是正样本比例,不是数量。

第三题要算加权平均,不是简单平均。

第五题的“最多叶子”和“最少样本”是同一个式子的两头。


答案

第一题

p=6/8=0.75p = 6/8 = 0.75,代入:

H=−0.75log⁡20.75−0.25log⁡20.25=0.311+0.5=0.811H = -0.75\log_2 0.75 - 0.25\log_2 0.25 = 0.311 + 0.5 = 0.811

正好是 log⁡24/2\log_2 4 / 2 附近——3:1 的分布不算太乱,但也不是 0。

第二题

分组一 (4 正 0 负):熵 = 0。

分组二 (2 正 2 负):p=0.5p = 0.5,熵 = 1。

加权熵:

48(0)+48(1)=0.5\frac{4}{8}(0) + \frac{4}{8}(1) = 0.5

信息增益 = 0.811−0.5=0.3110.811 - 0.5 = 0.311。

第三题

方案乙更好。

方案甲的加权熵:

14(0.9+0.8+0.7+0.6)=0.75\frac{1}{4}(0.9+0.8+0.7+0.6) = 0.75

方案乙的加权熵:

0.9(0.2)+0.1(0.9)=0.18+0.09=0.270.9(0.2) + 0.1(0.9) = 0.18 + 0.09 = 0.27

0.27 远小于 0.75。方案乙虽然有一组很乱,但那一组只占 10%,而占 90% 的那组非常纯。

这就是加权平均的意义

如果按简单平均,方案甲是 0.75,方案乙是 0.55,乙只是略好。

按加权平均,0.27 对 0.75,乙的优势大得多——因为样本多的组才是真正重要的。

这也解释了为什么“温度有三组”那课输给了“天气”:切得多不如切得纯。

第四题

因为算基尼比算熵便宜。

熵里有两项 log⁡\log,基尼只有平方。建树时每选一次特征,要对每个候选特征的每个切分点都算一遍不纯度—— 一棵树几万个节点、几十个特征,这个差距会累积成实实在在的时间和电量。

而两者给出的排序几乎总是一致(第五课那张表就是证据),换掉不亏。

第五题

深度 dd 的二叉树最多有 2d2^d 个叶子。

每个叶子至少 5 条样本,总共 1000 条,所以叶子数最多 200。解 2d≤2002^d \le 200:

d≤log⁡2200≈7.64d \le \log_2 200 \approx 7.64

所以深度最多设 7。

但实际该设得更小

7 是理论上限——只有在每个叶子刚好 5 条时才成立。

叶子只有 5 条样本时,那个“概率”完全不可信(第二课讲过)。实际该按验证集误差来定, 上一课那张图里验证误差在深度 2 到 4 之间就见底了。

第六题

过拟合。

训练误差 0 说明模型把训练集全记住了;验证误差不动说明这些记忆对新样本毫无帮助。 深度 7 之后多长出来的部分,全是噪声。

该调的参数:

  • max_depth:直接限制层数,最常用

  • min_samples_leaf:要求每个叶子至少几条样本

  • min_samples_split:节点样本太少就不许再分

三个都试一遍,用交叉验证选。

第七题

因为树只比较大小,不做算术运算。

它问的是“面积 > 120 吗”。把面积从平方米换成平方英尺,所有数同乘一个系数,大小关系不变, 树长出来完全一样。

而线性回归要算 w1x1+w2x2w_1 x_1 + w_2 x_2。如果 x1x_1 的范围是 0~1, x2x_2 是 0~10000,梯度下降会几乎只更新 w2w_2, w1w_1 基本不动。所以第三课要归一化。

树和线性模型的分野

线性模型在意数值的大小,树只在意数值的顺序。

这个区别决定了:树不需要归一化、不需要处理量纲、对异常值不敏感(只要它没跨过切分点); 但也因此,树对“数值差距”本身不敏感——它分不清“差 1”和“差 1000”。

一句话总结

概念

内容

决策树

一连串 if-else,决策边界是轴对齐的矩形

熵 / 基尼

衡量一堆样本有多乱,0 表示纯

信息增益

分裂前后不纯度的加权下降量

贪心

每次选当下最好的特征,不回头

剪枝

限制深度/叶子大小,防止过拟合

回归树

叶子输出均值,预测是阶梯状,不外推

四个毛病

轴对齐、不稳定、不外推、偏爱多取值特征

下一章

一棵树不稳 → 训练一百棵投票