习题
题目
第一题 k-means 的惯量在 k=4 时是 462.8,k=5 时是 414.0。为什么不能直接选 k=5(甚至 k=n)?
第二题 一个样本的轮廓系数是 −0.3。这说明什么?
第三题 为什么 k-means 必须归一化,而决策树不用?
第四题 双月牙数据上,k-means(k=2)轮廓系数 0.489,DBSCAN 能找到正确分组。为什么 k-means 会失败?
第五题 DBSCAN 的 eps 从 0.1 改成 0.5,可能发生什么?
第二题注意是负数。
第三题想“算法里有没有减法”。
答案
第一题
因为惯量必然随 k 单调下降。
每个点到自己所属中心的距离平方和——k 越大,中心越多,每个点离最近中心只会更近,不可能更远。
极端情况:k = 样本数时,每个点是自己的中心,惯量 = 0。
这不是模型的胜利,是定义的问题
惯量衡量的是“拟合训练数据的程度”,不是“发现结构的程度”。
这正是无监督特有的困境:没有标签来惩罚“过度拟合”。 有监督里模型把训练集背下来,验证集立刻揭穿它;这里没有任何东西能揭穿。
所以必须靠肘部法、轮廓系数或业务判断来人为设限。
第二题
说明这个点被分错簇了。
轮廓系数 。正常情况下 (离本簇比离别的簇近),。
负值的含义是 :它离另一个簇比离自己所在的簇还近。
通常说明:k 选错了(该合并的两个簇被拆开),或者这个点是离群点被硬塞进了某个簇。
第三题
因为 k-means 里有减法,决策树里只有比较。
k-means 算 ——这个式子里,一个以万为单位的特征会贡献 (10000)²=10⁸, 一个以十为单位的特征只贡献 100。前者完全压过后者,后者等于不存在。
决策树问“面积 > 120 吗”。换单位后所有面积同乘一个系数,大小关系不变,树一模一样。
一条实用的判断规则
看模型的公式里有没有 减号或平方:
有(k-means、SVM、KNN、PCA、神经网络)→ 要归一化
没有(决策树、随机森林、GBDT)→ 不用
这条规则能帮你避免一大类“模型跑得很差但其实只是没归一化”的问题。
第四题
因为 k-means 用到中心的距离来定义簇。
月牙形的簇,它的“中心”落在月牙的空心处——那里根本没有点。
于是 k-means 只能把月牙切成两半,让两个半圆各自围绕一个落在月牙上的中心。 两个簇的实际形状和真实形状完全对不上。
DBSCAN 看的是“周围有没有邻居”,沿着月牙走每一步邻居都很近,所以能顺着弯长出去。
根本区别
k-means 假设簇是凸的、可以用一个中心描述。DBSCAN 假设簇是密度连通的。
数据不符合哪个假设,那个方法就失败。
第五题
半径变大 5 倍,可能的后果:
原本分开的簇被连成一片。因为一个簇的点现在能“够到”另一个簇的点,被当成同一个密度区域。
噪声点被吸收。原本孤立的点现在半径内有足够邻居了,变成边界点或核心点。
簇的数量减少,可能只剩 1 个。
极端情况:eps 大到覆盖整个数据集,所有点属于同一个簇。
这也是为什么 eps 要对每个数据集单独调,而且必须和特征尺度一起考虑。
一句话总结
方法 | 核心假设 | 要不要给 k | 能处理任意形状 |
|---|---|---|---|
k-means | 簇是球形、有中心 | 要 | 不行 |
层次聚类 | 簇可以用某种距离合并 | 不用(切树) | 看连接方式 |
DBSCAN | 簇是密度连通的 | 不用 | 可以 |
共同点 | 没有标签,只能用内部指标和业务判断评估 |
下一课
维度灾难