习题
题目
第一题 有 1000 个样本,按 60/20/20 划分。三个集合各多少个?如果其中有 30 个正类(3%),采用分层抽样后,验证集里应该有多少个正类?
第二题 下面是一份 5 个样本的标签:
y = np.array([10., 12., 14., 16., 18.])模型很简单:预测训练集的平均值。
用留一法(5 折,每次留 1 个)算出每一折的误差,再求平均 MSE。
然后回答:这个交叉验证的分数,和"直接用全部 5 个样本的平均值去预测全部 5 个样本"的 MSE 相比,哪个大?为什么?
第三题 判断下面哪些操作会造成数据泄漏:
先用全部数据算出均值来填充缺失值,然后划分训练/测试集
先划分,然后用训练集的均值填充训练集和测试集的缺失值
用 5 折交叉验证选出最好的多项式阶数,然后在测试集上报告成绩
用 5 折交叉验证选出最好的阶数,然后用同一批数据的测试集反复调参,报告最好的那个成绩
预测明天的股价,把最近三年的数据随机打乱后划分
第四题 下面这段代码重复了 200 次,每次都是同一个模型、同一份数据,只是划分随机种子不同。解释为什么结果会差这么多,以及交叉验证怎么解决它。
scores = [] for seed in range(200): X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, random_state=seed) model.fit(X_tr, y_tr) scores.append(mean_squared_error(y_te, model.predict(X_te))) print(scores.mean(), scores.min(), scores.max())答案
第一题
集合 | 数量 |
|---|---|
训练集 | 600 |
验证集 | 200 |
测试集 | 200 |
分层抽样后,验证集的正类数量是:
不分层的话,随机抽到的正类数量服从超几何分布,方差不小——可能抽到 2 个,也可能抽到 11 个。极端情况下可能一个都没有。
六个样本虽然也不多,但至少保证了一定有正类可以评估。
第二题
留一法,每次用其余 4 个的均值去预测被留下的那一个:
留出的样本 | 训练集的均值 | 误差 |
|---|---|---|
10 | 15.00 | 25.00 |
12 | 14.50 | 6.25 |
14 | 14.00 | 0.00 |
16 | 13.50 | 6.25 |
18 | 13.00 | 25.00 |
作为对比,直接用全部 5 个样本的均值(14)去预测全部 5 个样本:
交叉验证的分数更高(更差):12.50 > 8.00。
这正是交叉验证的价值所在——训练集上的误差是模型"自己考自己",天然偏低。交叉验证每次都让模型去预测它没见过的那个样本,所以给出的数字更接近真实水平。
注意第 3 行误差是 0:留出的是 14,而其余四个的均值恰好也是 14。这种"碰巧预测中"的情况在交叉验证里很正常,它会被其他几折平均掉。
第三题
# | 泄漏? | 原因 |
|---|---|---|
1 | 是 | 算均值时用了还没划分出去的数据,测试集信息渗进了填充值 |
2 | 否 | 正确的顺序:先划分,只在训练集上算参数,再套用到测试集 |
3 | 否 | 这是标准做法:CV 选模型,测试集报一次成绩 |
4 | 是 | 用测试集反复调参 = 把测试集当成了验证集,报出的成绩是虚高的 |
5 | 是 | 时间序列随机打乱,模型会用"未来的数据"预测"过去",现实中不可能 |
第 4 条是最常见也最隐蔽的。测试集只能碰一次,碰第二次就已经不是测试集了。
第四题
实测这 200 次的结果:
验证 MSE | |
|---|---|
平均 | 4.988 |
标准差 | 1.644 |
最小 | 1.692 |
最大 | 9.924 |
原因是:模型没变,变的只是哪 20% 被抽去做验证集。
如果碰巧抽到的都是"好预测"的点,MSE 就低到 1.69;碰巧抽到的都是"难预测"的点,就高到 9.92。
单次划分给出的不是"模型的真实水平",而是"模型在这 12 个特定点上的水平"。这是一次抽样,它就带抽样误差。
交叉验证怎么解决:让每一个样本都当过一次验证集,把 200 次、5 次这些重复全部摊到全部数据上。运气成分被平均掉,剩下的才是模型的真实水平。
代价是要训练 k 次——用计算量换了一个不靠运气的数字。
一句话总结
结论 | 内容 |
|---|---|
验证集的绝对数量 | 至少几百个,否则数字本身就不稳 |
分层抽样 | 类别不平衡时的必需品 |
交叉验证 | 用 k 倍计算量换掉抽样运气 |
数据泄漏 | 任何"算参数"的操作,只能在训练集上做 |
测试集 | 只能碰一次 |
下一章
下一章换个角度:过拟合和欠拟合。同样是"模型不好",病因和解药完全不同。