scikit-learn›课程›Pipeline 与 ColumnTransformer
Pipeline 与 ColumnTransformer
Pipeline 解决的问题
上一课的规矩(fit 只在训练集)手动写容易漏。Pipeline 把它变成结构上的保证。
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
pipe = Pipeline([
("scale", StandardScaler()),
("model", LogisticRegression(max_iter=5000)),
])
pipe.fit(X_train, y_train) # 内部:scale 只在训练集 fit
pipe.score(X_test, y_test) # 内部:test 只 transformPipeline 不是代码整洁工具
它的真正价值是:让“先 fit 训练集再 transform 测试集”这件事不可能做错。
而且交叉验证时,每一折内部会重新 fit 整个 Pipeline——泄漏从根源上消失。
三步就能用
Pipeline([("名字", 对象), ...])搭起来- 中间每一步必须有
transform,最后一步是模型 - 整体当普通模型用:
fit/predict/score
ColumnTransformer:不同列走不同流程
真实数据里,数值列要缩放、类别列要编码。它们不能走同一条路。
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.impute import SimpleImputer
num_cols = ["年龄", "收入"]
cat_cols = ["城市", "职业"]
pre = ColumnTransformer([
("num", Pipeline([
("imp", SimpleImputer(strategy="median")),
("sc", StandardScaler()),
]), num_cols),
("cat", Pipeline([
("imp", SimpleImputer(strategy="most_frequent")),
("ohe", OneHotEncoder(handle_unknown="ignore")),
]), cat_cols),
])
pipe = Pipeline([("pre", pre), ("model", LogisticRegression(max_iter=5000))])
pipe.fit(X_train, y_train)ColumnTransformer 参数表
| 参数 | 作用 |
|---|---|
transformers | 三元组列表:(名字, 转换器, 列选择) |
remainder | 没列出的列怎么处理:"drop"(默认)/ "passthrough" |
n_jobs | 并行数 |
verbose | 打印执行过程 |
ColumnTransformer(
[("num", StandardScaler(), num_cols)],
remainder="passthrough", # 其他列原样保留
)remainder 默认是 drop
只列了数值列,类别列会被默默丢掉——不报错,但模型少了一半特征。
要么把所有列都列出来,要么显式设 remainder="passthrough"。
按列类型自动选
列多的时候手写列表很烦,可以按 dtype 自动分:
from sklearn.compose import make_column_selector
pre = ColumnTransformer([
("num", StandardScaler(), make_column_selector(dtype_include="number")),
("cat", OneHotEncoder(), make_column_selector(dtype_include="object")),
])访问 Pipeline 里的东西
pipe.named_steps["pre"] # 取某一步
pipe["pre"] # 同上,简写
pipe[:-1] # 除最后一步外的全部(预测时用)
pipe.set_params(model__C=0.1) # 改深层参数,双下划线双下划线是唯一的坑
model__C 表示“步骤 model 的参数 C”。
步骤名是你自己起的,不是类名。所以单下划线不行,写错会报Invalid parameter。
网格搜索时全靠这个语法。
Pipeline 的其他好处
| 好处 | 说明 |
|---|---|
| 交叉验证不泄漏 | 每一折内部重新 fit 全部步骤 |
| 存一份就够 | joblib.dump(pipe) 含预处理 |
| 部署简单 | pipe.predict(原始数据),不用记得先缩放 |
| 调参统一 | 预处理参数也能一起搜 |
想缓存中间结果
Pipeline([...], memory="./cache") # 相同输入的步骤结果缓存到磁盘调参时预处理反复跑很浪费,加这个能省时间。
这一课解决了什么
Pipeline 把“预处理 + 模型”焊成一个对象,泄漏在结构上不可能发生。
下一课讲怎么用它做交叉验证。