交叉验证
先看单次划分有多不稳
用一份 60 个点的数据,做 80/20 划分,训练一个线性回归,重复 200 次(每次重新随机划分):
验证 MSE | |
|---|---|
平均 | 4.988 |
标准差 | 1.644 |
最小 | 1.692 |
最大 | 9.924 |
抽到最好的那次,你会以为模型很不错(MSE 1.69)。
抽到最差的那次,你会以为模型烂透了(MSE 9.92)。
它俩其实是同一个模型。 差别只在于哪 12 个点被抽去做验证集了。
这就是小数据上用留出法的根本问题:你报的是一个随机数。
k 折交叉验证
做法很直接:把数据切成 k 块,训练 k 次。

第 1 次:第 1 块当验证,其余 4 块训练
第 2 次:第 2 块当验证,其余 4 块训练
……
第 5 次:第 5 块当验证,其余 4 块训练
最后把 5 个验证分数平均,作为这个模型的成绩。
from sklearn.model_selection import cross_val_score scores = cross_val_score(model, X, y, cv=5, scoring="neg_mean_squared_error") mse = -scores.mean()因为每一个样本都恰好当过一次验证集。
单次划分时,那 12 个被抽中的点决定了你的分数;交叉验证里,全部 60 个点都参与过评分,运气成分被平均掉了。
而且每个样本也都参与了 k-1 次训练——数据一点没浪费。
k 取多少
k | 训练集占 | 偏差 | 方差 | 计算量 |
|---|---|---|---|---|
5 | 80% | 稍高 | 中 | 5 次 |
10 | 90% | 低 | 中 | 10 次 |
m(留一法) | 接近 100% | 最低 | 高 | m 次 |
实际最常用的是 5 折和 10 折。
k 太小(比如 3):训练集只用了 2/3,模型没吃饱,分数偏低
k 太大(比如留一法):训练 m 次太慢,而且各折模型几乎一样,平均之后方差反而不降
k = m,每次只留 1 个样本做验证。
听起来最完美——训练集几乎用了全部数据。但它有两个问题:
要训练 m 次,数据一万条就训练一万次
各折的模型高度相关(彼此只差一个样本),平均掉的信息很少,方差不一定比 5 折低
小数据上偶尔用,大数据上基本不考虑。
代价与选择
场景 | 建议 |
|---|---|
数据少(几百条以内)、模型便宜 | 10 折 |
数据中等、模型便宜 | 5 折 |
模型很贵(深度学习) | 单次留出,或者 3 折 |
数据很大(百万级) | 单次留出就够了 |
最后一行值得强调:数据足够多的时候,留出法本身就足够稳,没必要再交叉验证。上一课那个"差 5.9 倍"是因为只有 60 个样本。
和超参数选择的关系
交叉验证最常见的用途是选超参数:
for 阶数 in [1, 2, 3, 4, 5]: 用 5 折交叉验证算出这个阶数的平均误差 选平均误差最小的那个阶数交叉验证的分数用来做决定(选哪个阶数、哪个 λ)。所以它扮演的是验证集的角色。
选完之后,还要在测试集上跑一次,报出最终成绩。测试集从头到尾没参与过任何选择。
如果连测试集也拿去选,那就又回到了"用测试集调参"的老坑。
下一课
还有一类问题比"划分方式"更隐蔽:数据泄漏。
你的划分看起来完全正确,交叉验证也做了,但分数莫名其妙地好——那多半是有信息从训练集漏到了验证集。