训练误差骗了你

一个让人不放心的模型

上一章的习题里有个现象:5 个样本拟合 6 次多项式,训练误差是 0.0000。

每个点都被完美穿过,一个不差。

如果你只看这个数字,会觉得这就是完美的模型。但它的验证误差是 101310^{13} 量级——在训练数据范围之外,那条曲线早就飞到天上去了。

它只能证明一件事:模型记住了这批数据。

记住和学会是两回事。一个把答案抄下来的学生,做过的题全对,换一道就废了。

需要一批模型没见过的数据

所以评估模型必须分两批数据:

名字

用途

模型训练时能看到吗

训练集

用来调参数

能

验证集

用来选模型、调超参数

不能

测试集

最后报告成绩

绝对不能

常见的划分比例是 60% / 20% / 20%,或者数据多的时候 98% / 1% / 1%。

为什么要三个而不是两个

两个也能跑,但会有个隐蔽的问题:

假设你只用训练集和验证集。你试了 20 种模型,挑出验证误差最小的那个。这个"挑"的动作本身就是在验证集上做了一次训练——你选的是"在这批验证数据上表现最好"的模型,它天然会偏向这批数据。

所以还需要第三份从没参与过任何选择的测试集,用来给出一个诚实的成绩。

用测试集反复调参。

"测试误差 0.3,太高了,我改改超参数再试"……试了十几次之后挑出测试误差 0.15 的那个,然后报告"测试误差 0.15"。

这个数字是假的。测试集已经被你用成了验证集,它不再能代表"模型在没见过的数据上表现如何"。

测试集只能碰一次,就是最后那一次。

那验证误差怎么用

它回答的根本问题是:

换一批数据,这个模型还稳吗?

训练误差和验证误差的关系,比任何一个绝对值都重要:

训练误差

验证误差

说明

低

低

好模型

低

高

记住了训练集,泛化不了 → 下一课

高

高

连训练集都没学好 → 再下一课

高

低

几乎不可能,出现就说明划分有问题

后两行就是这一章要讲的两件事。

这一章要解决的问题

"留出一部分数据"听起来简单,真做起来一堆坑:

  1. 划多少合适?怎么划才不带偏?

  2. 数据少的时候,一份验证集太浪费、太不稳怎么办 → 交叉验证

  3. 哪些操作会悄悄把验证集的信息泄进训练 → 数据泄漏

下一课

下一课先从最基本的划分方式开始。