维度灾难

先说结论

特征越多,模型不一定越好。超过某个点,性能会下降。

这件事在高维空间里有几个反直觉的表现。

反直觉之一:高维空间很空

一维上撒 100 个点,它们挤在一条线上,彼此很近。

二维上撒 100 个点,密度低了。100 维上撒 100 个点——它们几乎全部互相远离,像宇宙里的星系。

距离失去意义

高维空间里,任意两个点之间的距离都差不多大。

最近邻和最远邻的距离比趋近于 1。这意味着“最近的邻居”这个概念失效了。

kNN、k-means、SVM 这些全靠距离的方法,在高维上几乎无法工作。

反直觉之二:需要的数据量爆炸

想在一维上把 [0,1] 区间铺满,每隔 0.1 放一个点,需要 10 个点。

二维上同样密度:10² = 100 个。三维:1000 个。十维:10¹⁰ 个。

维度每加一,需要的数据量乘一个常数。这就是为什么高维模型特别容易过拟合——样本根本不够铺满空间。

反直觉之三:更多特征可能更差

假设你有 100 个特征,其中只有 10 个和标签有关,另外 90 个是纯噪声。

模型不知道哪些有用。它会在噪声里找到“看起来有相关性”的模式——纯粹是偶然,但因为搜索空间太大,这种偶然一定会出现。

一个具体的数字

100 个纯随机特征、100 个样本。随机挑一个特征,它和标签的相关系数 |r| > 0.2 的概率大约是 5%。

100 个特征里,平均有 5 个会“显著相关”。它们全是假的。

这叫多重比较问题。特征越多,假阳性越多。

降维有什么用

三个实际好处:

  1. 可视化:压到 2 维,画出来看

  2. 去噪声:丢掉方差极小的方向,那里往往是噪声

  3. 加速:特征少了,训练和推理都快

但要注意:降维会丢信息。丢掉的可能是噪声,也可能是你正需要的信号。

两种降维

线性降维

非线性降维

代表

PCA、SVD

t-SNE、UMAP

做法

把数据投影到几个方向上

保持邻接关系,重新排布

可逆

可以(有逆变换)

不行

能用于新数据

可以

t-SNE 不行,UMAP 勉强

适合

预处理、去噪

纯粹为了看图

这个区别很关键

PCA 学到一个变换规则,可以套用到任何新数据上。

t-SNE 是针对当前这批数据算出来的坐标。来一条新数据,你得把整个数据集重跑一遍,而且跑出来的坐标和上次对不上。

所以 t-SNE 只适合展示,不能放进生产流程。

这一课解决了什么

高维不只是“计算慢”,它会让距离失效、让数据不够、让假模式泛滥。

下一课讲最常用的线性降维:PCA。