特征选择与降维

三种思路

类型做法代表
过滤式 Filter按统计量给每个特征打分,选前 k 个SelectKBest、VarianceThreshold
包裹式 Wrapper反复训练模型,看去掉哪个特征影响最小RFE、RFECV
嵌入式 Embedded模型训练时自己就把没用的压成 0Lasso、SelectFromModel
降维把特征组合成新的PCA、TruncatedSVD
选择 vs 降维的区别

选择:从原有特征里挑,保留原意(“收入这个特征重要”)。

降维:造新特征,丢了原意(“第一主成分 = 2.3”)。

要和业务解释就用选择,只求性能可以用降维。

一、过滤式

from sklearn.feature_selection import (VarianceThreshold,
                                     SelectKBest, f_classif, mutual_info_classif,
                                     chi2)

# 去掉方差为 0 的列(常量列,没信息)
sel = VarianceThreshold(threshold=0.0)
X_new = sel.fit_transform(X)

# 按 F 检验选前 10 个
sel = SelectKBest(f_classif, k=10)
X_new = sel.fit_transform(X, y)
sel.scores_          # 每个特征的得分
sel.get_support()    # 布尔数组,哪些被选中

# 互信息(能捕捉非线性关系)
sel = SelectKBest(mutual_info_classif, k=10)
打分函数适合
f_classif分类,线性关系
f_regression回归
mutual_info_classif分类,非线性
chi2分类,非负特征(词频)

二、包裹式:RFE

思路:先全部训练,去掉最不重要的一个,再训练,循环到剩 k 个。

from sklearn.feature_selection import RFE, RFECV

rfe = RFE(estimator=Ridge(), n_features_to_select=10, step=1)
rfe.fit(X, y)
rfe.support_             # 哪些被选中
rfe.ranking_             # 排名,1 是保留的

# 不知道选几个:让它自己用交叉验证定
rfecv = RFECV(estimator=Ridge(), cv=5, scoring="r2")
rfecv.fit(X, y)
rfecv.n_features_
RFE 很慢

每次只去掉一个特征,等于要训练 n 次。1000 个特征就是 1000 次训练。

step 设大一点(比如 step=10)能快 10 倍,代价是可能去掉有用的特征。

三、嵌入式

from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import Lasso, LogisticRegression

# Lasso 会把不重要的系数压到 0
sel = SelectFromModel(Lasso(alpha=0.01))
X_new = sel.fit_transform(X, y)

# 用树模型的重要性
from sklearn.ensemble import RandomForestClassifier
sel = SelectFromModel(RandomForestClassifier(n_estimators=200),
                      threshold="median")

这是最省事的做法:模型训练完,顺便就把没用的特征标出来了。

四、降维

类用于关键参数
PCA密集数值特征n_components(整数或 0~1 的方差比)
TruncatedSVD稀疏矩阵(文本 TF-IDF)同上
NMF非负数据(词频、图像)同上
from sklearn.decomposition import PCA, TruncatedSVD

pca = PCA(n_components=0.95)      # 保留 95% 方差,自动定维数
X_new = pca.fit_transform(X_scaled)
pca.n_components_                 # 实际保留了几维
pca.explained_variance_ratio_     # 每个主成分的解释比例

svd = TruncatedSVD(n_components=100)   # 稀疏数据用这个
PCA 前必须缩放

不缩放的话,方差大的原始特征会独占第一主成分——那是量纲的产物,不是数据里的结构。

前面一定要接 StandardScaler。

稀疏矩阵不能用 PCA

PCA 会把稀疏矩阵变成密集的,内存直接爆。文本数据用 TruncatedSVD。

五、一定要放进 Pipeline

这是第 4 课那条规则的延续:

# ✗ 错:先在全量数据上选特征
sel = SelectKBest(f_classif, k=10).fit(X, y)
X_sel = sel.transform(X)
X_train, X_test = train_test_split(X_sel, y)

# ✓ 对:放进 Pipeline
pipe = Pipeline([
    ("sel", SelectKBest(f_classif, k=10)),
    ("sc", StandardScaler()),
    ("model", LogisticRegression(max_iter=5000)),
])
cross_val_score(pipe, X, y, cv=5)

第二种写法里,每一折都会用自己的训练数据重新选特征,没有泄漏。

为什么第一种是泄漏

“哪些特征和 y 最相关”这个判断,用到了全部样本的标签,包括测试集的。

模型等于提前知道了“哪些特征在这份测试集上有效”。

六、选几个特征

别把 k 拍死。当成超参数搜:

param_grid = {
    "sel__k": [5, 10, 20, 50, "all"],
}
GridSearchCV(pipe, param_grid, cv=5)
这一课解决了什么

四种减特征的手段:过滤快、包裹准、嵌入省事、降维造新特征。

共同点:都必须放进 Pipeline,否则泄漏。