习题
题目
第一题 100 维空间里随机撒 100 个点。为什么 kNN 会失效?
第二题 PCA 之前为什么必须中心化?如果不中心化会发生什么?
第三题 一个 20 维的数据集,前 3 个主成分累计解释 96%。你会降到 3 维吗?还需要考虑什么?
第四题 t-SNE 图上有三个明显分开的簇。能不能说“数据里有三个类别”?
第五题 “先对全部数据做 PCA,再划分训练测试集”错在哪?正确做法是什么?
第一题想“最近邻和最远邻的距离比”。
第三题的关键词是“下游任务”。
答案
第一题
因为距离在高维空间里失去了区分度。
100 维里,任意两点的距离都集中在某个值附近。最近邻和最远邻的距离比趋近于 1。
所以“离哪个点最近”这个问题,答案基本是随机的——差一点点就可能换成另一个点,而那个点可能在原始意义下完全不同。
具体表现
kNN 的准确率随维度上升先升后降。开始时增加特征带来信息,越过某点之后, 距离失效的坏处超过信息带来的好处。
这个拐点的位置取决于样本量——样本越多,能承受的维度越高。
第二题
因为 PCA 找的是方差最大的方向,而方差是相对于均值的。
如果不中心化,数据的“均值”可能离原点很远。这时协方差矩阵算出来的第一主成分会指向 从原点到数据中心的那个方向,而不是数据内部变化最大的方向。
举个例子:一堆点集中在 (100, 100) 附近,抖动很小。不中心化的话,第一主成分会是 (1,1) 方向, 解释方差 99.9%——但那个方向只是“数据中心离原点远”,不是任何有意义的结构。
sklearn 的 PCA 自动中心化。手写实现时这一步最容易漏。
第三题
不一定。还要看丢掉的 4% 是什么。
三种可能:
4% 是噪声 → 降到 3 维很好,甚至可能提升效果(去噪)
4% 里恰好有判别信息 → 降维会让分类变差。PCA 是无监督的,它不知道你的标签是什么
4% 里是异常信号 → 做异常检测时,异常往往就藏在低方差方向里,降维会把它们一起丢掉
正确的做法
把主成分数量当作超参数:取 3、5、8、10 分别训练下游模型,看验证集表现。
不要因为“96% 听起来够高”就直接定下来。
第四题
不能。
三个理由:
t-SNE 在纯噪声上也能画出簇。它的目标就是“把相似的点放近”, 即使是随机的相似性也会被放大成视觉上的团。
簇的数量依赖 perplexity。换个参数可能变成 2 个或 5 个。
簇的间距不代表真实距离。图上分得开,原始空间里可能完全混在一起。
要判断“有没有三类”,得用别的证据:聚类指标(轮廓系数)、下游任务的表现、或者领域知识。
第五题
错在数据泄漏。
PCA 的 fit 过程要用到全部数据的均值和协方差。如果你用包含测试集的数据去 fit, 测试集的信息就进入了变换规则。
结果:测试集上的表现会虚高。你可能以为模型能到 0.90,上线后只有 0.75。
正确做法
只在训练集上 fit PCA,然后拿同一个 PCA 对象去 transform 测试集。
注意:测试集的 transform 用的是训练集算出来的均值和主成分方向,不是测试集自己的。
第 15 章的 Pipeline 会自动保证这一点——这也是用 Pipeline 的核心理由之一。
一句话总结
概念 | 内容 |
|---|---|
维度灾难 | 高维让距离失效、数据不够、假模式泛滥 |
PCA | 找方差最大的一组正交方向,投影过去 |
保留几维 | 95% 是习惯,最好用下游任务定 |
t-SNE / UMAP | 保邻接关系,只为看图,不能进生产 |
数据泄漏 | PCA 只能在训练集上 fit |
下一课
特征比模型重要