k-means
算法只有四步
随便选 个点当“中心”
每个样本分配给离它最近的中心
每个簇重新计算中心(取该簇所有点的平均)
重复 2-3,直到中心不再移动

看惯量(所有点到各自中心的距离平方和):4943 → 1236 → 462。一直在降。
它一定会收敛
每一步都不会让惯量变大:分配时选最近的中心,更新时取平均(平均是使距离平方和最小的点)。
惯量有下界(≥0),又单调不增,所以一定会停。
但停下来的地方不一定是全局最优——取决于初始中心选在哪。
初始化的坑
如果两个初始中心碰巧选在同一个簇里,那个簇会被劈开,另一个簇永远合不起来。最后得到的是局部最优。
解法:多跑几次,取惯量最小的。sklearn 里就是 n_init 参数,默认跑 10 次。
更好的初始化叫 k-means++:第一个中心随机选,之后的中心尽量选离已有中心远的点。 这让初始中心天然分散。
三个必须知道的局限
一、它假设簇是“球形”的
因为用欧氏距离、用平均值当中心。如果真实的簇是月牙形、长条形,k-means 会切错。
第 5 课那个双月牙的例子,k-means 的轮廓系数只有 0.489,而 DBSCAN 能完美分开。
二、必须事先给 k
它不会自己决定分几组。下一课讲怎么选。
三、对量纲敏感
距离是各维平方和。一个以“元”为单位的特征(几万)会完全压过以“岁”为单位的特征(几十)。
用 k-means 之前必须归一化——第 3 章那个 StandardScaler,这里同样需要。
为什么这里要归一化,树却不用
树只比较大小,不看差值。k-means 算的是距离,而距离直接受量纲影响。
判断标准:模型里有没有出现“减法”或“平方和”。有 → 要归一化。
一个容易忽略的事实
k-means 一定会给出 k 个簇——即使数据里根本没有结构。
给它一堆均匀分布的随机点,它照样能分出 k 组,看起来还挺像回事。
所以聚类结果必须用外部知识检验:这些分组在业务上讲得通吗?
这一课解决了什么
k-means 简单、快、一定能收敛,但只适合球形簇,而且要事先给 k。
下一课讲怎么定这个 k。