fit 和 transform 的界线

整门课最容易错的一课

数据泄漏在第 5 章讲过原理。在 sklearn 里它变成了一个具体的动作错误: 一个字母写错,结果差好几个点,而且不会报错。

错误写法

# ✗ 错
sc = StandardScaler()
X_scaled = sc.fit_transform(X)          # ← 用了全部数据

X_train, X_test, y_train, y_test = train_test_split(X_scaled, y)

model.fit(X_train, y_train)
model.score(X_test, y_test)             # 分数虚高

fit_transform(X) 算均值和标准差时,把测试集也算进去了。

正确写法

# ✓ 对
X_train, X_test, y_train, y_test = train_test_split(X, y)   # 先划分

sc = StandardScaler()
X_train = sc.fit_transform(X_train)     # 只 fit 训练集
X_test  = sc.transform(X_test)          # 测试集只 transform

model.fit(X_train, y_train)
model.score(X_test, y_test)
这个区别的本质

fit = 学习参数(均值、标准差、类别表、主成分…)

transform = 用学到的参数做转换

测试集是“未来会遇到的新数据”。现实里你不可能提前知道未来的数据长什么样, 所以它的参数不能参与 fit。

为什么分数会虚高

用全量数据 fit 之后,测试集的信息泄漏进了变换规则里:

  • 特征范围、均值、方差都是“看过测试集”之后定的
  • 模型间接知道了测试集的分布
  • 评估结果偏乐观,而且偏多少你不知道

偏乐观是最糟的那种错误——模型在本地看起来很好,上线就崩,而你找不到原因。

会泄漏的操作清单

操作为什么泄漏
StandardScaler 全量 fit均值方差含测试集
OneHotEncoder 全量 fit类别表含测试集的类别
SimpleImputer 全量 fit填充值含测试集
PCA 全量 fit主成分方向含测试集
特征选择全量做“选哪些特征”用到了测试集的标签
过采样在划分前做复制出来的样本会同时出现在两边
用全量数据算目标编码把当前样本自己的标签算进了特征
特征选择最隐蔽

只在全量数据上跑一次 SelectKBest,然后把选出来的列拿去划分——这也是泄漏。

因为“哪些特征和 y 最相关”这个判断,用到了测试集的 y。

正确做法是把它放进 Pipeline,让每一折自己选。

过采样尤其危险

# ✗ 错:先过采样再划分
X_res, y_res = SMOTE().fit_resample(X, y)
X_train, X_test = train_test_split(X_res, y_res)
# 同一个样本的复制品可能一个在训练集、一个在测试集

复制出来的样本几乎一样。模型在训练集见过它,测试集又考它——等于开卷考试。

正确顺序

划分 → 只在训练集过采样 → 测试集保持原样(不平衡)

这样测出来的才是“面对真实不平衡数据”的表现。

一句话规则

记住这条就够

任何“从数据里学一个参数”的操作,fit 都只能在训练集上做。

判断方法:这个对象调完 fit 之后,有没有多出带下划线的属性? 有 → 它学到了东西 → 它必须只在训练集上 fit。

这一课解决了什么

fit 只能在训练集上。手动写对很累,而且步骤一多就容易漏。

下一课讲怎么用 Pipeline 让这件事不可能做错。