维度灾难
先说结论
特征越多,模型不一定越好。超过某个点,性能会下降。
这件事在高维空间里有几个反直觉的表现。
反直觉之一:高维空间很空
一维上撒 100 个点,它们挤在一条线上,彼此很近。
二维上撒 100 个点,密度低了。100 维上撒 100 个点——它们几乎全部互相远离,像宇宙里的星系。
距离失去意义
高维空间里,任意两个点之间的距离都差不多大。
最近邻和最远邻的距离比趋近于 1。这意味着“最近的邻居”这个概念失效了。
kNN、k-means、SVM 这些全靠距离的方法,在高维上几乎无法工作。
反直觉之二:需要的数据量爆炸
想在一维上把 [0,1] 区间铺满,每隔 0.1 放一个点,需要 10 个点。
二维上同样密度:10² = 100 个。三维:1000 个。十维:10¹⁰ 个。
维度每加一,需要的数据量乘一个常数。这就是为什么高维模型特别容易过拟合——样本根本不够铺满空间。
反直觉之三:更多特征可能更差
假设你有 100 个特征,其中只有 10 个和标签有关,另外 90 个是纯噪声。
模型不知道哪些有用。它会在噪声里找到“看起来有相关性”的模式——纯粹是偶然,但因为搜索空间太大,这种偶然一定会出现。
一个具体的数字
100 个纯随机特征、100 个样本。随机挑一个特征,它和标签的相关系数 |r| > 0.2 的概率大约是 5%。
100 个特征里,平均有 5 个会“显著相关”。它们全是假的。
这叫多重比较问题。特征越多,假阳性越多。
降维有什么用
三个实际好处:
可视化:压到 2 维,画出来看
去噪声:丢掉方差极小的方向,那里往往是噪声
加速:特征少了,训练和推理都快
但要注意:降维会丢信息。丢掉的可能是噪声,也可能是你正需要的信号。
两种降维
线性降维 | 非线性降维 | |
|---|---|---|
代表 | PCA、SVD | t-SNE、UMAP |
做法 | 把数据投影到几个方向上 | 保持邻接关系,重新排布 |
可逆 | 可以(有逆变换) | 不行 |
能用于新数据 | 可以 | t-SNE 不行,UMAP 勉强 |
适合 | 预处理、去噪 | 纯粹为了看图 |
这个区别很关键
PCA 学到一个变换规则,可以套用到任何新数据上。
t-SNE 是针对当前这批数据算出来的坐标。来一条新数据,你得把整个数据集重跑一遍,而且跑出来的坐标和上次对不上。
所以 t-SNE 只适合展示,不能放进生产流程。
这一课解决了什么
高维不只是“计算慢”,它会让距离失效、让数据不够、让假模式泛滥。
下一课讲最常用的线性降维:PCA。