Pipeline 与 ColumnTransformer

Pipeline 解决的问题

上一课的规矩(fit 只在训练集)手动写容易漏。Pipeline 把它变成结构上的保证。

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

pipe = Pipeline([
    ("scale", StandardScaler()),
    ("model", LogisticRegression(max_iter=5000)),
])

pipe.fit(X_train, y_train)      # 内部:scale 只在训练集 fit
pipe.score(X_test, y_test)      # 内部:test 只 transform
Pipeline 不是代码整洁工具

它的真正价值是:让“先 fit 训练集再 transform 测试集”这件事不可能做错。

而且交叉验证时,每一折内部会重新 fit 整个 Pipeline——泄漏从根源上消失。

三步就能用

  1. Pipeline([("名字", 对象), ...]) 搭起来
  2. 中间每一步必须有 transform,最后一步是模型
  3. 整体当普通模型用:fit / predict / score

ColumnTransformer:不同列走不同流程

真实数据里,数值列要缩放、类别列要编码。它们不能走同一条路。

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
from sklearn.impute import SimpleImputer

num_cols = ["年龄", "收入"]
cat_cols = ["城市", "职业"]

pre = ColumnTransformer([
    ("num", Pipeline([
        ("imp", SimpleImputer(strategy="median")),
        ("sc", StandardScaler()),
    ]), num_cols),
    ("cat", Pipeline([
        ("imp", SimpleImputer(strategy="most_frequent")),
        ("ohe", OneHotEncoder(handle_unknown="ignore")),
    ]), cat_cols),
])

pipe = Pipeline([("pre", pre), ("model", LogisticRegression(max_iter=5000))])
pipe.fit(X_train, y_train)

ColumnTransformer 参数表

参数作用
transformers三元组列表:(名字, 转换器, 列选择)
remainder没列出的列怎么处理:"drop"(默认)/ "passthrough"
n_jobs并行数
verbose打印执行过程
ColumnTransformer(
    [("num", StandardScaler(), num_cols)],
    remainder="passthrough",     # 其他列原样保留
)
remainder 默认是 drop

只列了数值列,类别列会被默默丢掉——不报错,但模型少了一半特征。

要么把所有列都列出来,要么显式设 remainder="passthrough"。

按列类型自动选

列多的时候手写列表很烦,可以按 dtype 自动分:

from sklearn.compose import make_column_selector

pre = ColumnTransformer([
    ("num", StandardScaler(), make_column_selector(dtype_include="number")),
    ("cat", OneHotEncoder(), make_column_selector(dtype_include="object")),
])

访问 Pipeline 里的东西

pipe.named_steps["pre"]           # 取某一步
pipe["pre"]                          # 同上,简写
pipe[:-1]                            # 除最后一步外的全部(预测时用)

pipe.set_params(model__C=0.1)        # 改深层参数,双下划线
双下划线是唯一的坑

model__C 表示“步骤 model 的参数 C”。

步骤名是你自己起的,不是类名。所以单下划线不行,写错会报Invalid parameter。

网格搜索时全靠这个语法。

Pipeline 的其他好处

好处说明
交叉验证不泄漏每一折内部重新 fit 全部步骤
存一份就够joblib.dump(pipe) 含预处理
部署简单pipe.predict(原始数据),不用记得先缩放
调参统一预处理参数也能一起搜

想缓存中间结果

Pipeline([...], memory="./cache")   # 相同输入的步骤结果缓存到磁盘

调参时预处理反复跑很浪费,加这个能省时间。

这一课解决了什么

Pipeline 把“预处理 + 模型”焊成一个对象,泄漏在结构上不可能发生。

下一课讲怎么用它做交叉验证。