PCA:找方差最大的方向
一个二维的例子
假设数据大致沿着一条斜线分布,但每个点都有点抖动。
这条斜线方向上的变化最大,垂直于它的方向上变化很小。

实测这两个方向解释的方差比例是 93.1% 和 6.9%。
也就是说:只看第一个方向,就保留了 93% 的信息。
PCA 在做什么
它找一组新的坐标轴,满足两个条件:
新轴之间互相垂直
第一根轴指向方差最大的方向,第二根指向剩下的最大,依次类推
然后把数据投影到这组新轴上。想降到 2 维,就只保留前两根轴。
为什么是“方差最大”
方差大 = 数据在这个方向上分布得开 = 这个方向携带的信息多。
方差小 = 所有点挤在一起 = 这个方向上大家差不多 = 丢了也不心疼。
这个直觉在大多数情况下成立,但不总是——如果某个信号方差小但恰好是你需要的,PCA 会把它丢掉。
和线性代数的关系
数学上,主成分就是协方差矩阵的特征向量,对应的特征值就是那个方向的方差。
所以“找方差最大的方向”等价于“求协方差矩阵最大的特征值对应的特征向量”。
这就是为什么 PCA 要用特征值分解(或对数据矩阵做 SVD)。
必须中心化
PCA 之前要把每个特征减去均值。否则第一主成分会指向“数据中心到原点”的方向,而不是方差最大的方向。
sklearn 的 PCA 自动做了这一步。但如果你自己实现,忘了中心化会得到完全错误的结果。
要不要标准化
两个选择,结果不同:
做法 | 效果 | 什么时候用 |
|---|---|---|
只中心化 | 方差大的原始特征主导主成分 | 各特征量纲相同时 |
标准化后再 PCA | 每个特征权重相同 | 量纲不同时(通常是这个) |
如果不标准化,一个以“元”为单位的特征(方差几百万)会独占第一主成分, 而一个以“岁”为单位的特征(方差几百)几乎不参与。这通常不是你想要的。
PCA 的局限
只找线性方向:数据如果躺在一个弯曲的流形上,PCA 抓不住
主成分不一定可解释:它是原始特征的线性组合,可能对应不到任何实际含义
无监督:它不知道标签是什么,可能丢掉最有判别力的方向
最后一条值得展开
假设你要做分类。两个类沿着某个方向分得很开,但那个方向的整体方差很小。
PCA 会优先保留方差大的方向,可能正好把这个判别方向丢掉——降维之后分类效果反而变差。
这种场景该用有监督的降维(比如 LDA,线性判别分析),它专门找“类间距离大、类内距离小”的方向。
这一课解决了什么
PCA 找一组互相垂直的轴,按方差从大到小排,取前几个就完成了降维。
那到底该取几个?下一课讲。