交叉验证

先看单次划分有多不稳

用一份 60 个点的数据,做 80/20 划分,训练一个线性回归,重复 200 次(每次重新随机划分):

验证 MSE

平均

4.988

标准差

1.644

最小

1.692

最大

9.924

抽到最好的那次,你会以为模型很不错(MSE 1.69)。

抽到最差的那次,你会以为模型烂透了(MSE 9.92)。

它俩其实是同一个模型。 差别只在于哪 12 个点被抽去做验证集了。

这就是小数据上用留出法的根本问题:你报的是一个随机数。

k 折交叉验证

做法很直接:把数据切成 k 块,训练 k 次。

  • 第 1 次:第 1 块当验证,其余 4 块训练

  • 第 2 次:第 2 块当验证,其余 4 块训练

  • ……

  • 第 5 次:第 5 块当验证,其余 4 块训练

最后把 5 个验证分数平均,作为这个模型的成绩。

from sklearn.model_selection import cross_val_score scores = cross_val_score(model, X, y, cv=5, scoring="neg_mean_squared_error") mse = -scores.mean()

因为每一个样本都恰好当过一次验证集。

单次划分时,那 12 个被抽中的点决定了你的分数;交叉验证里,全部 60 个点都参与过评分,运气成分被平均掉了。

而且每个样本也都参与了 k-1 次训练——数据一点没浪费。

k 取多少

k

训练集占

偏差

方差

计算量

5

80%

稍高

中

5 次

10

90%

低

中

10 次

m(留一法)

接近 100%

最低

高

m 次

实际最常用的是 5 折和 10 折。

  • k 太小(比如 3):训练集只用了 2/3,模型没吃饱,分数偏低

  • k 太大(比如留一法):训练 m 次太慢,而且各折模型几乎一样,平均之后方差反而不降

k = m,每次只留 1 个样本做验证。

听起来最完美——训练集几乎用了全部数据。但它有两个问题:

  1. 要训练 m 次,数据一万条就训练一万次

  2. 各折的模型高度相关(彼此只差一个样本),平均掉的信息很少,方差不一定比 5 折低

小数据上偶尔用,大数据上基本不考虑。

代价与选择

场景

建议

数据少(几百条以内)、模型便宜

10 折

数据中等、模型便宜

5 折

模型很贵(深度学习)

单次留出,或者 3 折

数据很大(百万级)

单次留出就够了

最后一行值得强调:数据足够多的时候,留出法本身就足够稳,没必要再交叉验证。上一课那个"差 5.9 倍"是因为只有 60 个样本。

和超参数选择的关系

交叉验证最常见的用途是选超参数:

for 阶数 in [1, 2, 3, 4, 5]: 用 5 折交叉验证算出这个阶数的平均误差 选平均误差最小的那个阶数

交叉验证的分数用来做决定(选哪个阶数、哪个 λ)。所以它扮演的是验证集的角色。

选完之后,还要在测试集上跑一次,报出最终成绩。测试集从头到尾没参与过任何选择。

如果连测试集也拿去选,那就又回到了"用测试集调参"的老坑。

下一课

还有一类问题比"划分方式"更隐蔽:数据泄漏。

你的划分看起来完全正确,交叉验证也做了,但分数莫名其妙地好——那多半是有信息从训练集漏到了验证集。