scikit-learn›课程›fit 和 transform 的界线
fit 和 transform 的界线
整门课最容易错的一课
数据泄漏在第 5 章讲过原理。在 sklearn 里它变成了一个具体的动作错误: 一个字母写错,结果差好几个点,而且不会报错。
错误写法
# ✗ 错
sc = StandardScaler()
X_scaled = sc.fit_transform(X) # ← 用了全部数据
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y)
model.fit(X_train, y_train)
model.score(X_test, y_test) # 分数虚高fit_transform(X) 算均值和标准差时,把测试集也算进去了。
正确写法
# ✓ 对
X_train, X_test, y_train, y_test = train_test_split(X, y) # 先划分
sc = StandardScaler()
X_train = sc.fit_transform(X_train) # 只 fit 训练集
X_test = sc.transform(X_test) # 测试集只 transform
model.fit(X_train, y_train)
model.score(X_test, y_test)这个区别的本质
fit = 学习参数(均值、标准差、类别表、主成分…)
transform = 用学到的参数做转换
测试集是“未来会遇到的新数据”。现实里你不可能提前知道未来的数据长什么样, 所以它的参数不能参与 fit。
为什么分数会虚高
用全量数据 fit 之后,测试集的信息泄漏进了变换规则里:
- 特征范围、均值、方差都是“看过测试集”之后定的
- 模型间接知道了测试集的分布
- 评估结果偏乐观,而且偏多少你不知道
偏乐观是最糟的那种错误——模型在本地看起来很好,上线就崩,而你找不到原因。
会泄漏的操作清单
| 操作 | 为什么泄漏 |
|---|---|
StandardScaler 全量 fit | 均值方差含测试集 |
OneHotEncoder 全量 fit | 类别表含测试集的类别 |
SimpleImputer 全量 fit | 填充值含测试集 |
PCA 全量 fit | 主成分方向含测试集 |
| 特征选择全量做 | “选哪些特征”用到了测试集的标签 |
| 过采样在划分前做 | 复制出来的样本会同时出现在两边 |
| 用全量数据算目标编码 | 把当前样本自己的标签算进了特征 |
特征选择最隐蔽
只在全量数据上跑一次 SelectKBest,然后把选出来的列拿去划分——这也是泄漏。
因为“哪些特征和 y 最相关”这个判断,用到了测试集的 y。
正确做法是把它放进 Pipeline,让每一折自己选。
过采样尤其危险
# ✗ 错:先过采样再划分
X_res, y_res = SMOTE().fit_resample(X, y)
X_train, X_test = train_test_split(X_res, y_res)
# 同一个样本的复制品可能一个在训练集、一个在测试集复制出来的样本几乎一样。模型在训练集见过它,测试集又考它——等于开卷考试。
正确顺序
划分 → 只在训练集过采样 → 测试集保持原样(不平衡)
这样测出来的才是“面对真实不平衡数据”的表现。
一句话规则
记住这条就够
任何“从数据里学一个参数”的操作,fit 都只能在训练集上做。
判断方法:这个对象调完 fit 之后,有没有多出带下划线的属性? 有 → 它学到了东西 → 它必须只在训练集上 fit。
这一课解决了什么
fit 只能在训练集上。手动写对很累,而且步骤一多就容易漏。
下一课讲怎么用 Pipeline 让这件事不可能做错。