训练误差骗了你
一个让人不放心的模型
上一章的习题里有个现象:5 个样本拟合 6 次多项式,训练误差是 0.0000。
每个点都被完美穿过,一个不差。
如果你只看这个数字,会觉得这就是完美的模型。但它的验证误差是 量级——在训练数据范围之外,那条曲线早就飞到天上去了。
它只能证明一件事:模型记住了这批数据。
记住和学会是两回事。一个把答案抄下来的学生,做过的题全对,换一道就废了。
需要一批模型没见过的数据
所以评估模型必须分两批数据:
名字 | 用途 | 模型训练时能看到吗 |
|---|---|---|
训练集 | 用来调参数 | 能 |
验证集 | 用来选模型、调超参数 | 不能 |
测试集 | 最后报告成绩 | 绝对不能 |
常见的划分比例是 60% / 20% / 20%,或者数据多的时候 98% / 1% / 1%。
为什么要三个而不是两个
两个也能跑,但会有个隐蔽的问题:
假设你只用训练集和验证集。你试了 20 种模型,挑出验证误差最小的那个。这个"挑"的动作本身就是在验证集上做了一次训练——你选的是"在这批验证数据上表现最好"的模型,它天然会偏向这批数据。
所以还需要第三份从没参与过任何选择的测试集,用来给出一个诚实的成绩。
用测试集反复调参。
"测试误差 0.3,太高了,我改改超参数再试"……试了十几次之后挑出测试误差 0.15 的那个,然后报告"测试误差 0.15"。
这个数字是假的。测试集已经被你用成了验证集,它不再能代表"模型在没见过的数据上表现如何"。
测试集只能碰一次,就是最后那一次。
那验证误差怎么用
它回答的根本问题是:
换一批数据,这个模型还稳吗?
训练误差和验证误差的关系,比任何一个绝对值都重要:
训练误差 | 验证误差 | 说明 |
|---|---|---|
低 | 低 | 好模型 |
低 | 高 | 记住了训练集,泛化不了 → 下一课 |
高 | 高 | 连训练集都没学好 → 再下一课 |
高 | 低 | 几乎不可能,出现就说明划分有问题 |
后两行就是这一章要讲的两件事。
这一章要解决的问题
"留出一部分数据"听起来简单,真做起来一堆坑:
划多少合适?怎么划才不带偏?
数据少的时候,一份验证集太浪费、太不稳怎么办 → 交叉验证
哪些操作会悄悄把验证集的信息泄进训练 → 数据泄漏
下一课
下一课先从最基本的划分方式开始。