习题

题目

第一题 有 1000 个样本,按 60/20/20 划分。三个集合各多少个?如果其中有 30 个正类(3%),采用分层抽样后,验证集里应该有多少个正类?

第二题 下面是一份 5 个样本的标签:

y = np.array([10., 12., 14., 16., 18.])

模型很简单:预测训练集的平均值。

用留一法(5 折,每次留 1 个)算出每一折的误差,再求平均 MSE。

然后回答:这个交叉验证的分数,和"直接用全部 5 个样本的平均值去预测全部 5 个样本"的 MSE 相比,哪个大?为什么?

第三题 判断下面哪些操作会造成数据泄漏:

  1. 先用全部数据算出均值来填充缺失值,然后划分训练/测试集

  2. 先划分,然后用训练集的均值填充训练集和测试集的缺失值

  3. 用 5 折交叉验证选出最好的多项式阶数,然后在测试集上报告成绩

  4. 用 5 折交叉验证选出最好的阶数,然后用同一批数据的测试集反复调参,报告最好的那个成绩

  5. 预测明天的股价,把最近三年的数据随机打乱后划分

第四题 下面这段代码重复了 200 次,每次都是同一个模型、同一份数据,只是划分随机种子不同。解释为什么结果会差这么多,以及交叉验证怎么解决它。

scores = [] for seed in range(200): X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, random_state=seed) model.fit(X_tr, y_tr) scores.append(mean_squared_error(y_te, model.predict(X_te))) print(scores.mean(), scores.min(), scores.max())

答案

第一题

集合

数量

训练集

600

验证集

200

测试集

200

分层抽样后,验证集的正类数量是:

200×3%=6 个200 \times 3\% = \mathbf{6} \text{ 个}

不分层的话,随机抽到的正类数量服从超几何分布,方差不小——可能抽到 2 个,也可能抽到 11 个。极端情况下可能一个都没有。

六个样本虽然也不多,但至少保证了一定有正类可以评估。

第二题

留一法,每次用其余 4 个的均值去预测被留下的那一个:

留出的样本

训练集的均值

误差 (y^−y)2(\hat y - y)^2

10

15.00

25.00

12

14.50

6.25

14

14.00

0.00

16

13.50

6.25

18

13.00

25.00

MSECV=25+6.25+0+6.25+255=12.50\text{MSE}_{\text{CV}} = \frac{25+6.25+0+6.25+25}{5} = \mathbf{12.50}

作为对比,直接用全部 5 个样本的均值(14)去预测全部 5 个样本:

MSE训练=(14−10)2+(14−12)2+0+(14−16)2+(14−18)25=8.00\text{MSE}_{\text{训练}} = \frac{(14-10)^2+(14-12)^2+0+(14-16)^2+(14-18)^2}{5} = \mathbf{8.00}

交叉验证的分数更高(更差):12.50 > 8.00。

这正是交叉验证的价值所在——训练集上的误差是模型"自己考自己",天然偏低。交叉验证每次都让模型去预测它没见过的那个样本,所以给出的数字更接近真实水平。

注意第 3 行误差是 0:留出的是 14,而其余四个的均值恰好也是 14。这种"碰巧预测中"的情况在交叉验证里很正常,它会被其他几折平均掉。

第三题

#

泄漏?

原因

1

是

算均值时用了还没划分出去的数据,测试集信息渗进了填充值

2

否

正确的顺序:先划分,只在训练集上算参数,再套用到测试集

3

否

这是标准做法:CV 选模型,测试集报一次成绩

4

是

用测试集反复调参 = 把测试集当成了验证集,报出的成绩是虚高的

5

是

时间序列随机打乱,模型会用"未来的数据"预测"过去",现实中不可能

第 4 条是最常见也最隐蔽的。测试集只能碰一次,碰第二次就已经不是测试集了。

第四题

实测这 200 次的结果:

验证 MSE

平均

4.988

标准差

1.644

最小

1.692

最大

9.924

原因是:模型没变,变的只是哪 20% 被抽去做验证集。

如果碰巧抽到的都是"好预测"的点,MSE 就低到 1.69;碰巧抽到的都是"难预测"的点,就高到 9.92。

单次划分给出的不是"模型的真实水平",而是"模型在这 12 个特定点上的水平"。这是一次抽样,它就带抽样误差。

交叉验证怎么解决:让每一个样本都当过一次验证集,把 200 次、5 次这些重复全部摊到全部数据上。运气成分被平均掉,剩下的才是模型的真实水平。

代价是要训练 k 次——用计算量换了一个不靠运气的数字。

一句话总结

结论

内容

验证集的绝对数量

至少几百个,否则数字本身就不稳

分层抽样

类别不平衡时的必需品

交叉验证

用 k 倍计算量换掉抽样运气

数据泄漏

任何"算参数"的操作,只能在训练集上做

测试集

只能碰一次

下一章

下一章换个角度:过拟合和欠拟合。同样是"模型不好",病因和解药完全不同。