交叉验证

为什么不能只看一次划分

把数据随机分一次,得到一个分数。换一个 random_state 再分一次,可能差好几个点。

这个分数到底反映的是模型能力,还是你那一次划分运气好?

交叉验证把数据切成 k 份,轮流用其中一份当验证集,最后看 k 个分数的平均值和波动。

cross_val_score 参数表

参数作用
estimator模型或 Pipeline
X, y数据
cv几折,或一个切分器对象
scoring用什么指标(默认模型自带的 score)
n_jobs并行数,-1 用全部核心
return_train_score是否同时返回训练分数
from sklearn.model_selection import cross_val_score

scores = cross_val_score(pipe, X, y, cv=5, scoring="roc_auc", n_jobs=-1)
print(scores.mean(), scores.std())
一定要看 std

只报 mean 是不够的。均值 0.85、标准差 0.01 的模型,比均值 0.86、标准差 0.08 的更可靠。

标准差大说明模型对数据划分敏感,换个训练集可能就崩。

cross_validate:一次拿多个指标

from sklearn.model_selection import cross_validate

r = cross_validate(pipe, X, y, cv=5,
                   scoring=["accuracy", "precision", "recall", "roc_auc"],
                   return_train_score=True)

r["test_accuracy"], r["test_roc_auc"]

返回一个字典,包含每个指标的每折结果和 fit_time / score_time。

五种切分策略

类怎么切什么时候用
KFold顺序切成 k 份普通回归问题
StratifiedKFold每份的类别比例相同分类问题的默认选择
GroupKFold同一组的样本不跨折同一用户/病人的多条记录
TimeSeriesSplit前面训练、后面验证,不回头时间序列
LeaveOneOut每次留一个样本样本极少(≤50),极慢
from sklearn.model_selection import (KFold, StratifiedKFold,
                                   GroupKFold, TimeSeriesSplit)

# 分类:默认就该用分层
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)

# 同一用户的多条记录不能分到两边
cv = GroupKFold(n_splits=5)
cross_val_score(pipe, X, y, cv=cv, groups=user_id)

# 时间序列:训练集永远在验证集之前
cv = TimeSeriesSplit(n_splits=5)
分组数据用普通 KFold 等于泄漏

同一个病人的三次检查,如果两次在训练集、一次在测试集,模型等于“见过这个病人”。

分数会明显虚高。用 GroupKFold 并传 groups 参数。

分类为什么默认分层

不分类时,某一折可能几乎没有正类,算出来的指标毫无意义(甚至除以 0)。

cross_val_score 传整数 cv=5 时,分类器会自动用 StratifiedKFold, 回归器用 KFold。所以大多数情况你不用担心——但显式写出来更清楚。

学习曲线

想回答“数据够不够”,用 learning_curve:

from sklearn.model_selection import learning_curve
import numpy as np

sizes, train_s, val_s = learning_curve(
    pipe, X, y, cv=5,
    train_sizes=np.linspace(0.1, 1.0, 6),
)

看两条线的关系:

现象说明
两条线都低,且靠近欠拟合,换更复杂的模型
训练高、验证低,差距大过拟合,加数据或加正则
验证线还在上升数据不够,加样本有用
验证线已经平了加样本没用,该换模型或加特征

验证曲线

想回答“这个超参该取多少”,用 validation_curve:

from sklearn.model_selection import validation_curve

param, train_s, val_s = validation_curve(
    pipe, X, y, param_name="model__C",
    param_range=[0.01, 0.1, 1, 10, 100], cv=5,
)

这就是第 7 课的网格搜索在单参数上的可视化版本。

这一课解决了什么

交叉验证给出“平均表现 + 波动”,比单次划分可靠得多。

切分策略要按数据特点选:分类用分层,分组用 Group,时序用 TimeSeries。