习题
题目
第一题 一个节点里有 6 个正样本、2 个负样本。算它的熵。
第二题 接上题,按特征 A 分成两组:(4 正 0 负) 和 (2 正 2 负)。算信息增益。
第三题 下面两个分裂方案,哪个更好?为什么?
方案甲:分成 4 组,熵分别是 0.9、0.8、0.7、0.6,四组一样大
方案乙:分成 2 组,熵分别是 0.2、0.9,前一组占 90%
第四题 为什么 sklearn 默认用基尼而不是熵?答案里不要出现“因为它是默认值”。
第五题 一棵深度为 的二叉树,最多有多少个叶子?如果一个叶子的样本数不能少于 5,训练集有 1000 条,深度最多该设多大?
第六题 训练误差降到 0,验证误差却不动。这说明什么?该调什么参数?
第七题 为什么决策树不需要特征归一化?
提示
第一题记得 是正样本比例,不是数量。
第三题要算加权平均,不是简单平均。
第五题的“最多叶子”和“最少样本”是同一个式子的两头。
答案
第一题
,代入:
正好是 附近——3:1 的分布不算太乱,但也不是 0。
第二题
分组一 (4 正 0 负):熵 = 0。
分组二 (2 正 2 负):,熵 = 1。
加权熵:
信息增益 = 。
第三题
方案乙更好。
方案甲的加权熵:
方案乙的加权熵:
0.27 远小于 0.75。方案乙虽然有一组很乱,但那一组只占 10%,而占 90% 的那组非常纯。
这就是加权平均的意义
如果按简单平均,方案甲是 0.75,方案乙是 0.55,乙只是略好。
按加权平均,0.27 对 0.75,乙的优势大得多——因为样本多的组才是真正重要的。
这也解释了为什么“温度有三组”那课输给了“天气”:切得多不如切得纯。
第四题
因为算基尼比算熵便宜。
熵里有两项 ,基尼只有平方。建树时每选一次特征,要对每个候选特征的每个切分点都算一遍不纯度—— 一棵树几万个节点、几十个特征,这个差距会累积成实实在在的时间和电量。
而两者给出的排序几乎总是一致(第五课那张表就是证据),换掉不亏。
第五题
深度 的二叉树最多有 个叶子。
每个叶子至少 5 条样本,总共 1000 条,所以叶子数最多 200。解 :
所以深度最多设 7。
但实际该设得更小
7 是理论上限——只有在每个叶子刚好 5 条时才成立。
叶子只有 5 条样本时,那个“概率”完全不可信(第二课讲过)。实际该按验证集误差来定, 上一课那张图里验证误差在深度 2 到 4 之间就见底了。
第六题
过拟合。
训练误差 0 说明模型把训练集全记住了;验证误差不动说明这些记忆对新样本毫无帮助。 深度 7 之后多长出来的部分,全是噪声。
该调的参数:
max_depth:直接限制层数,最常用min_samples_leaf:要求每个叶子至少几条样本min_samples_split:节点样本太少就不许再分
三个都试一遍,用交叉验证选。
第七题
因为树只比较大小,不做算术运算。
它问的是“面积 > 120 吗”。把面积从平方米换成平方英尺,所有数同乘一个系数,大小关系不变, 树长出来完全一样。
而线性回归要算 。如果 的范围是 0~1, 是 0~10000,梯度下降会几乎只更新 , 基本不动。所以第三课要归一化。
树和线性模型的分野
线性模型在意数值的大小,树只在意数值的顺序。
这个区别决定了:树不需要归一化、不需要处理量纲、对异常值不敏感(只要它没跨过切分点); 但也因此,树对“数值差距”本身不敏感——它分不清“差 1”和“差 1000”。
一句话总结
概念 | 内容 |
|---|---|
决策树 | 一连串 if-else,决策边界是轴对齐的矩形 |
熵 / 基尼 | 衡量一堆样本有多乱,0 表示纯 |
信息增益 | 分裂前后不纯度的加权下降量 |
贪心 | 每次选当下最好的特征,不回头 |
剪枝 | 限制深度/叶子大小,防止过拟合 |
回归树 | 叶子输出均值,预测是阶梯状,不外推 |
四个毛病 | 轴对齐、不稳定、不外推、偏爱多取值特征 |
下一章 | 一棵树不稳 → 训练一百棵投票 |