scikit-learn›课程›交叉验证
交叉验证
为什么不能只看一次划分
把数据随机分一次,得到一个分数。换一个 random_state 再分一次,可能差好几个点。
这个分数到底反映的是模型能力,还是你那一次划分运气好?
交叉验证把数据切成 k 份,轮流用其中一份当验证集,最后看 k 个分数的平均值和波动。
cross_val_score 参数表
| 参数 | 作用 |
|---|---|
estimator | 模型或 Pipeline |
X, y | 数据 |
cv | 几折,或一个切分器对象 |
scoring | 用什么指标(默认模型自带的 score) |
n_jobs | 并行数,-1 用全部核心 |
return_train_score | 是否同时返回训练分数 |
from sklearn.model_selection import cross_val_score
scores = cross_val_score(pipe, X, y, cv=5, scoring="roc_auc", n_jobs=-1)
print(scores.mean(), scores.std())一定要看 std
只报 mean 是不够的。均值 0.85、标准差 0.01 的模型,比均值 0.86、标准差 0.08 的更可靠。
标准差大说明模型对数据划分敏感,换个训练集可能就崩。
cross_validate:一次拿多个指标
from sklearn.model_selection import cross_validate
r = cross_validate(pipe, X, y, cv=5,
scoring=["accuracy", "precision", "recall", "roc_auc"],
return_train_score=True)
r["test_accuracy"], r["test_roc_auc"]返回一个字典,包含每个指标的每折结果和 fit_time / score_time。
五种切分策略
| 类 | 怎么切 | 什么时候用 |
|---|---|---|
KFold | 顺序切成 k 份 | 普通回归问题 |
StratifiedKFold | 每份的类别比例相同 | 分类问题的默认选择 |
GroupKFold | 同一组的样本不跨折 | 同一用户/病人的多条记录 |
TimeSeriesSplit | 前面训练、后面验证,不回头 | 时间序列 |
LeaveOneOut | 每次留一个样本 | 样本极少(≤50),极慢 |
from sklearn.model_selection import (KFold, StratifiedKFold,
GroupKFold, TimeSeriesSplit)
# 分类:默认就该用分层
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
# 同一用户的多条记录不能分到两边
cv = GroupKFold(n_splits=5)
cross_val_score(pipe, X, y, cv=cv, groups=user_id)
# 时间序列:训练集永远在验证集之前
cv = TimeSeriesSplit(n_splits=5)分组数据用普通 KFold 等于泄漏
同一个病人的三次检查,如果两次在训练集、一次在测试集,模型等于“见过这个病人”。
分数会明显虚高。用 GroupKFold 并传 groups 参数。
分类为什么默认分层
不分类时,某一折可能几乎没有正类,算出来的指标毫无意义(甚至除以 0)。
cross_val_score 传整数 cv=5 时,分类器会自动用 StratifiedKFold, 回归器用 KFold。所以大多数情况你不用担心——但显式写出来更清楚。
学习曲线
想回答“数据够不够”,用 learning_curve:
from sklearn.model_selection import learning_curve
import numpy as np
sizes, train_s, val_s = learning_curve(
pipe, X, y, cv=5,
train_sizes=np.linspace(0.1, 1.0, 6),
)看两条线的关系:
| 现象 | 说明 |
|---|---|
| 两条线都低,且靠近 | 欠拟合,换更复杂的模型 |
| 训练高、验证低,差距大 | 过拟合,加数据或加正则 |
| 验证线还在上升 | 数据不够,加样本有用 |
| 验证线已经平了 | 加样本没用,该换模型或加特征 |
验证曲线
想回答“这个超参该取多少”,用 validation_curve:
from sklearn.model_selection import validation_curve
param, train_s, val_s = validation_curve(
pipe, X, y, param_name="model__C",
param_range=[0.01, 0.1, 1, 10, 100], cv=5,
)这就是第 7 课的网格搜索在单参数上的可视化版本。
这一课解决了什么
交叉验证给出“平均表现 + 波动”,比单次划分可靠得多。
切分策略要按数据特点选:分类用分层,分组用 Group,时序用 TimeSeries。