怎么划分数据

先看一个切错的例子

一份电商销量数据,按月份排好,从 2021 年 1 月到 2024 年 12 月。

照老规矩切:前 60% 训练,中间 20% 验证,最后 20% 测试。

于是训练集是 2021 年 1 月到 2023 年 5 月,测试集是 2024 年 5 月到 12 月。

模型在验证集上表现不错,上线就崩。

问题不在模型,在切法。

训练集里根本没有 2023 年下半年那次改版之后的数据长什么样,也没有 2024 年的新品类。模型学的是"三年前的电商",却被要求预测现在。

数据表本来就是有顺序的——按时间、按地区、按类别排好。直接切前 60% 做训练,等于在时间上切了一刀。

先打乱,或者按时间正着切(用过去预测未来)。这一步做错,后面所有评估都是假的。

比例

最常见的三种:

数据量

训练

验证

测试

小(几千条以内)

60%

20%

20%

中

80%

10%

10%

大(百万级)

98%

1%

1%

数据越多,验证集的比例可以越小——因为 1% 的绝对数量也够多了。

比"比例"更实用的标准是绝对数量。

验证集至少要几百个样本,误差估计才勉强稳定。如果只有几十个,那个数字本身就有很大的随机波动,别当真。

随机划分

最简单:打乱顺序,按比例切开。

import numpy as np rng = np.random.default_rng(0) idx = rng.permutation(len(X)) n_tr, n_va = int(0.6*len(X)), int(0.2*len(X)) tr = idx[:n_tr] va = idx[n_tr:n_tr+n_va] te = idx[n_tr+n_va:]

如果数据文件是按时间、按类别、按地区排好的,直接切前 60% 做训练会出事。

比如一份按时间排好的销售记录:前 60% 是上半年,后 20% 是年底。模型只学过上半年,却要在"双十一"上考试。

必须先打乱,或者按时间正着切(用过去预测未来,这在时间序列里是必须的)。

分层抽样

类别不平衡时,随机划分可能出大问题。

假设 1000 个样本里有 30 个正类(3%)。随机抽 200 个做验证集,正类的期望数量是 6 个——但波动很大,可能抽到 0 个,也可能抽到 15 个。

抽到 0 个,验证集上根本没法评估分类效果。

分层抽样(stratified sampling)的做法是:按类别分别划分,保证每个集合里的类别比例和原始一致。

from sklearn.model_selection import train_test_split X_tr, X_te, y_tr, y_te = train_test_split( X, y, test_size=0.2, stratify=y, random_state=0)

那个 stratify=y 就是分层。分类问题几乎都该加。

小数据的困境

假设你只有 20 个样本。按 60/20/20 划分:训练集 12 个,验证集 4 个,测试集 4 个。

用 4 个样本算出来的误差,能信吗?

显然不能。换一种划分方式,这 4 个样本一换,误差数字可能翻倍。

这就很尴尬:数据少的时候,恰恰最需要可靠的评估,但留出法给出的估计最不靠谱。

  • 留出的验证集越大,估计越可靠,但训练数据越少

  • 留出的验证集越小,训练数据越多,但估计越不可靠

交叉验证就是为了跳出这个矛盾——它让每个样本都当过一次验证集,同时不减少训练数据的总量。

下一课

下一课讲。