习题

题目

第一题 k-means 的惯量在 k=4 时是 462.8,k=5 时是 414.0。为什么不能直接选 k=5(甚至 k=n)?

第二题 一个样本的轮廓系数是 −0.3。这说明什么?

第三题 为什么 k-means 必须归一化,而决策树不用?

第四题 双月牙数据上,k-means(k=2)轮廓系数 0.489,DBSCAN 能找到正确分组。为什么 k-means 会失败?

第五题 DBSCAN 的 eps 从 0.1 改成 0.5,可能发生什么?

第二题注意是负数。

第三题想“算法里有没有减法”。


答案

第一题

因为惯量必然随 k 单调下降。

每个点到自己所属中心的距离平方和——k 越大,中心越多,每个点离最近中心只会更近,不可能更远。

极端情况:k = 样本数时,每个点是自己的中心,惯量 = 0。

这不是模型的胜利,是定义的问题

惯量衡量的是“拟合训练数据的程度”,不是“发现结构的程度”。

这正是无监督特有的困境:没有标签来惩罚“过度拟合”。 有监督里模型把训练集背下来,验证集立刻揭穿它;这里没有任何东西能揭穿。

所以必须靠肘部法、轮廓系数或业务判断来人为设限。

第二题

说明这个点被分错簇了。

轮廓系数 s=(b−a)/max⁡(a,b)s = (b-a)/\max(a,b)。正常情况下 a<ba < b(离本簇比离别的簇近),s>0s > 0。

负值的含义是 a>ba > b:它离另一个簇比离自己所在的簇还近。

通常说明:k 选错了(该合并的两个簇被拆开),或者这个点是离群点被硬塞进了某个簇。

第三题

因为 k-means 里有减法,决策树里只有比较。

k-means 算 ∥x−μ∥2\|x - \mu\|^2——这个式子里,一个以万为单位的特征会贡献 (10000)²=10⁸, 一个以十为单位的特征只贡献 100。前者完全压过后者,后者等于不存在。

决策树问“面积 > 120 吗”。换单位后所有面积同乘一个系数,大小关系不变,树一模一样。

一条实用的判断规则

看模型的公式里有没有 减号或平方:

  • 有(k-means、SVM、KNN、PCA、神经网络)→ 要归一化

  • 没有(决策树、随机森林、GBDT)→ 不用

这条规则能帮你避免一大类“模型跑得很差但其实只是没归一化”的问题。

第四题

因为 k-means 用到中心的距离来定义簇。

月牙形的簇,它的“中心”落在月牙的空心处——那里根本没有点。

于是 k-means 只能把月牙切成两半,让两个半圆各自围绕一个落在月牙上的中心。 两个簇的实际形状和真实形状完全对不上。

DBSCAN 看的是“周围有没有邻居”,沿着月牙走每一步邻居都很近,所以能顺着弯长出去。

根本区别

k-means 假设簇是凸的、可以用一个中心描述。DBSCAN 假设簇是密度连通的。

数据不符合哪个假设,那个方法就失败。

第五题

半径变大 5 倍,可能的后果:

  1. 原本分开的簇被连成一片。因为一个簇的点现在能“够到”另一个簇的点,被当成同一个密度区域。

  2. 噪声点被吸收。原本孤立的点现在半径内有足够邻居了,变成边界点或核心点。

  3. 簇的数量减少,可能只剩 1 个。

极端情况:eps 大到覆盖整个数据集,所有点属于同一个簇。

这也是为什么 eps 要对每个数据集单独调,而且必须和特征尺度一起考虑。

一句话总结

方法

核心假设

要不要给 k

能处理任意形状

k-means

簇是球形、有中心

要

不行

层次聚类

簇可以用某种距离合并

不用(切树)

看连接方式

DBSCAN

簇是密度连通的

不用

可以

共同点

没有标签,只能用内部指标和业务判断评估

下一课

维度灾难