习题

题目

第一题 100 维空间里随机撒 100 个点。为什么 kNN 会失效?

第二题 PCA 之前为什么必须中心化?如果不中心化会发生什么?

第三题 一个 20 维的数据集,前 3 个主成分累计解释 96%。你会降到 3 维吗?还需要考虑什么?

第四题 t-SNE 图上有三个明显分开的簇。能不能说“数据里有三个类别”?

第五题 “先对全部数据做 PCA,再划分训练测试集”错在哪?正确做法是什么?

第一题想“最近邻和最远邻的距离比”。

第三题的关键词是“下游任务”。


答案

第一题

因为距离在高维空间里失去了区分度。

100 维里,任意两点的距离都集中在某个值附近。最近邻和最远邻的距离比趋近于 1。

所以“离哪个点最近”这个问题,答案基本是随机的——差一点点就可能换成另一个点,而那个点可能在原始意义下完全不同。

具体表现

kNN 的准确率随维度上升先升后降。开始时增加特征带来信息,越过某点之后, 距离失效的坏处超过信息带来的好处。

这个拐点的位置取决于样本量——样本越多,能承受的维度越高。

第二题

因为 PCA 找的是方差最大的方向,而方差是相对于均值的。

如果不中心化,数据的“均值”可能离原点很远。这时协方差矩阵算出来的第一主成分会指向 从原点到数据中心的那个方向,而不是数据内部变化最大的方向。

举个例子:一堆点集中在 (100, 100) 附近,抖动很小。不中心化的话,第一主成分会是 (1,1) 方向, 解释方差 99.9%——但那个方向只是“数据中心离原点远”,不是任何有意义的结构。

sklearn 的 PCA 自动中心化。手写实现时这一步最容易漏。

第三题

不一定。还要看丢掉的 4% 是什么。

三种可能:

  1. 4% 是噪声 → 降到 3 维很好,甚至可能提升效果(去噪)

  2. 4% 里恰好有判别信息 → 降维会让分类变差。PCA 是无监督的,它不知道你的标签是什么

  3. 4% 里是异常信号 → 做异常检测时,异常往往就藏在低方差方向里,降维会把它们一起丢掉

正确的做法

把主成分数量当作超参数:取 3、5、8、10 分别训练下游模型,看验证集表现。

不要因为“96% 听起来够高”就直接定下来。

第四题

不能。

三个理由:

  1. t-SNE 在纯噪声上也能画出簇。它的目标就是“把相似的点放近”, 即使是随机的相似性也会被放大成视觉上的团。

  2. 簇的数量依赖 perplexity。换个参数可能变成 2 个或 5 个。

  3. 簇的间距不代表真实距离。图上分得开,原始空间里可能完全混在一起。

要判断“有没有三类”,得用别的证据:聚类指标(轮廓系数)、下游任务的表现、或者领域知识。

第五题

错在数据泄漏。

PCA 的 fit 过程要用到全部数据的均值和协方差。如果你用包含测试集的数据去 fit, 测试集的信息就进入了变换规则。

结果:测试集上的表现会虚高。你可能以为模型能到 0.90,上线后只有 0.75。

正确做法

只在训练集上 fit PCA,然后拿同一个 PCA 对象去 transform 测试集。

注意:测试集的 transform 用的是训练集算出来的均值和主成分方向,不是测试集自己的。

第 15 章的 Pipeline 会自动保证这一点——这也是用 Pipeline 的核心理由之一。

一句话总结

概念

内容

维度灾难

高维让距离失效、数据不够、假模式泛滥

PCA

找方差最大的一组正交方向,投影过去

保留几维

95% 是习惯,最好用下游任务定

t-SNE / UMAP

保邻接关系,只为看图,不能进生产

数据泄漏

PCA 只能在训练集上 fit

下一课

特征比模型重要