k-means

算法只有四步

  1. 随便选 kk 个点当“中心”

  2. 每个样本分配给离它最近的中心

  3. 每个簇重新计算中心(取该簇所有点的平均)

  4. 重复 2-3,直到中心不再移动

同一份数据,迭代 1 次 / 2 次 / 5 次

看惯量(所有点到各自中心的距离平方和):4943 → 1236 → 462。一直在降。

它一定会收敛

每一步都不会让惯量变大:分配时选最近的中心,更新时取平均(平均是使距离平方和最小的点)。

惯量有下界(≥0),又单调不增,所以一定会停。

但停下来的地方不一定是全局最优——取决于初始中心选在哪。

初始化的坑

如果两个初始中心碰巧选在同一个簇里,那个簇会被劈开,另一个簇永远合不起来。最后得到的是局部最优。

解法:多跑几次,取惯量最小的。sklearn 里就是 n_init 参数,默认跑 10 次。

更好的初始化叫 k-means++:第一个中心随机选,之后的中心尽量选离已有中心远的点。 这让初始中心天然分散。

三个必须知道的局限

一、它假设簇是“球形”的

因为用欧氏距离、用平均值当中心。如果真实的簇是月牙形、长条形,k-means 会切错。

第 5 课那个双月牙的例子,k-means 的轮廓系数只有 0.489,而 DBSCAN 能完美分开。

二、必须事先给 k

它不会自己决定分几组。下一课讲怎么选。

三、对量纲敏感

距离是各维平方和。一个以“元”为单位的特征(几万)会完全压过以“岁”为单位的特征(几十)。

用 k-means 之前必须归一化——第 3 章那个 StandardScaler,这里同样需要。

为什么这里要归一化,树却不用

树只比较大小,不看差值。k-means 算的是距离,而距离直接受量纲影响。

判断标准:模型里有没有出现“减法”或“平方和”。有 → 要归一化。

一个容易忽略的事实

k-means 一定会给出 k 个簇——即使数据里根本没有结构。

给它一堆均匀分布的随机点,它照样能分出 k 组,看起来还挺像回事。

所以聚类结果必须用外部知识检验:这些分组在业务上讲得通吗?

这一课解决了什么

k-means 简单、快、一定能收敛,但只适合球形簇,而且要事先给 k。

下一课讲怎么定这个 k。