PCA:找方差最大的方向

一个二维的例子

假设数据大致沿着一条斜线分布,但每个点都有点抖动。

这条斜线方向上的变化最大,垂直于它的方向上变化很小。

蓝箭头是第一主成分(方差最大方向),橙箭头是第二主成分

实测这两个方向解释的方差比例是 93.1% 和 6.9%。

也就是说:只看第一个方向,就保留了 93% 的信息。

PCA 在做什么

它找一组新的坐标轴,满足两个条件:

  1. 新轴之间互相垂直

  2. 第一根轴指向方差最大的方向,第二根指向剩下的最大,依次类推

然后把数据投影到这组新轴上。想降到 2 维,就只保留前两根轴。

为什么是“方差最大”

方差大 = 数据在这个方向上分布得开 = 这个方向携带的信息多。

方差小 = 所有点挤在一起 = 这个方向上大家差不多 = 丢了也不心疼。

这个直觉在大多数情况下成立,但不总是——如果某个信号方差小但恰好是你需要的,PCA 会把它丢掉。

和线性代数的关系

数学上,主成分就是协方差矩阵的特征向量,对应的特征值就是那个方向的方差。

所以“找方差最大的方向”等价于“求协方差矩阵最大的特征值对应的特征向量”。

这就是为什么 PCA 要用特征值分解(或对数据矩阵做 SVD)。

必须中心化

PCA 之前要把每个特征减去均值。否则第一主成分会指向“数据中心到原点”的方向,而不是方差最大的方向。

sklearn 的 PCA 自动做了这一步。但如果你自己实现,忘了中心化会得到完全错误的结果。

要不要标准化

两个选择,结果不同:

做法

效果

什么时候用

只中心化

方差大的原始特征主导主成分

各特征量纲相同时

标准化后再 PCA

每个特征权重相同

量纲不同时(通常是这个)

如果不标准化,一个以“元”为单位的特征(方差几百万)会独占第一主成分, 而一个以“岁”为单位的特征(方差几百)几乎不参与。这通常不是你想要的。

PCA 的局限

  • 只找线性方向:数据如果躺在一个弯曲的流形上,PCA 抓不住

  • 主成分不一定可解释:它是原始特征的线性组合,可能对应不到任何实际含义

  • 无监督:它不知道标签是什么,可能丢掉最有判别力的方向

最后一条值得展开

假设你要做分类。两个类沿着某个方向分得很开,但那个方向的整体方差很小。

PCA 会优先保留方差大的方向,可能正好把这个判别方向丢掉——降维之后分类效果反而变差。

这种场景该用有监督的降维(比如 LDA,线性判别分析),它专门找“类间距离大、类内距离小”的方向。

这一课解决了什么

PCA 找一组互相垂直的轴,按方差从大到小排,取前几个就完成了降维。

那到底该取几个?下一课讲。