scikit-learn›课程›特征选择与降维
特征选择与降维
三种思路
| 类型 | 做法 | 代表 |
|---|---|---|
| 过滤式 Filter | 按统计量给每个特征打分,选前 k 个 | SelectKBest、VarianceThreshold |
| 包裹式 Wrapper | 反复训练模型,看去掉哪个特征影响最小 | RFE、RFECV |
| 嵌入式 Embedded | 模型训练时自己就把没用的压成 0 | Lasso、SelectFromModel |
| 降维 | 把特征组合成新的 | PCA、TruncatedSVD |
选择 vs 降维的区别
选择:从原有特征里挑,保留原意(“收入这个特征重要”)。
降维:造新特征,丢了原意(“第一主成分 = 2.3”)。
要和业务解释就用选择,只求性能可以用降维。
一、过滤式
from sklearn.feature_selection import (VarianceThreshold,
SelectKBest, f_classif, mutual_info_classif,
chi2)
# 去掉方差为 0 的列(常量列,没信息)
sel = VarianceThreshold(threshold=0.0)
X_new = sel.fit_transform(X)
# 按 F 检验选前 10 个
sel = SelectKBest(f_classif, k=10)
X_new = sel.fit_transform(X, y)
sel.scores_ # 每个特征的得分
sel.get_support() # 布尔数组,哪些被选中
# 互信息(能捕捉非线性关系)
sel = SelectKBest(mutual_info_classif, k=10)| 打分函数 | 适合 |
|---|---|
f_classif | 分类,线性关系 |
f_regression | 回归 |
mutual_info_classif | 分类,非线性 |
chi2 | 分类,非负特征(词频) |
二、包裹式:RFE
思路:先全部训练,去掉最不重要的一个,再训练,循环到剩 k 个。
from sklearn.feature_selection import RFE, RFECV
rfe = RFE(estimator=Ridge(), n_features_to_select=10, step=1)
rfe.fit(X, y)
rfe.support_ # 哪些被选中
rfe.ranking_ # 排名,1 是保留的
# 不知道选几个:让它自己用交叉验证定
rfecv = RFECV(estimator=Ridge(), cv=5, scoring="r2")
rfecv.fit(X, y)
rfecv.n_features_RFE 很慢
每次只去掉一个特征,等于要训练 n 次。1000 个特征就是 1000 次训练。
step 设大一点(比如 step=10)能快 10 倍,代价是可能去掉有用的特征。
三、嵌入式
from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import Lasso, LogisticRegression
# Lasso 会把不重要的系数压到 0
sel = SelectFromModel(Lasso(alpha=0.01))
X_new = sel.fit_transform(X, y)
# 用树模型的重要性
from sklearn.ensemble import RandomForestClassifier
sel = SelectFromModel(RandomForestClassifier(n_estimators=200),
threshold="median")这是最省事的做法:模型训练完,顺便就把没用的特征标出来了。
四、降维
| 类 | 用于 | 关键参数 |
|---|---|---|
PCA | 密集数值特征 | n_components(整数或 0~1 的方差比) |
TruncatedSVD | 稀疏矩阵(文本 TF-IDF) | 同上 |
NMF | 非负数据(词频、图像) | 同上 |
from sklearn.decomposition import PCA, TruncatedSVD
pca = PCA(n_components=0.95) # 保留 95% 方差,自动定维数
X_new = pca.fit_transform(X_scaled)
pca.n_components_ # 实际保留了几维
pca.explained_variance_ratio_ # 每个主成分的解释比例
svd = TruncatedSVD(n_components=100) # 稀疏数据用这个PCA 前必须缩放
不缩放的话,方差大的原始特征会独占第一主成分——那是量纲的产物,不是数据里的结构。
前面一定要接 StandardScaler。
稀疏矩阵不能用 PCA
PCA 会把稀疏矩阵变成密集的,内存直接爆。文本数据用 TruncatedSVD。
五、一定要放进 Pipeline
这是第 4 课那条规则的延续:
# ✗ 错:先在全量数据上选特征
sel = SelectKBest(f_classif, k=10).fit(X, y)
X_sel = sel.transform(X)
X_train, X_test = train_test_split(X_sel, y)
# ✓ 对:放进 Pipeline
pipe = Pipeline([
("sel", SelectKBest(f_classif, k=10)),
("sc", StandardScaler()),
("model", LogisticRegression(max_iter=5000)),
])
cross_val_score(pipe, X, y, cv=5)第二种写法里,每一折都会用自己的训练数据重新选特征,没有泄漏。
为什么第一种是泄漏
“哪些特征和 y 最相关”这个判断,用到了全部样本的标签,包括测试集的。
模型等于提前知道了“哪些特征在这份测试集上有效”。
六、选几个特征
别把 k 拍死。当成超参数搜:
param_grid = {
"sel__k": [5, 10, 20, 50, "all"],
}
GridSearchCV(pipe, param_grid, cv=5)这一课解决了什么
四种减特征的手段:过滤快、包裹准、嵌入省事、降维造新特征。
共同点:都必须放进 Pipeline,否则泄漏。