习题

题目

第一题 “城市”特征有 500 个不同取值。独热编码合适吗?还有什么办法?

第二题 收入特征严重右偏。为什么取对数有帮助?有 0 值怎么办?

第三题 下面这段代码错在哪?

X = scaler.fit_transform(X) X_train, X_test = train_test_split(X) model.fit(X_train, y_train)

第四题 5 个超参,每个 6 个候选值。网格搜索要训练多少次(5 折交叉验证)?随机搜索试 60 组呢?

第五题 为什么说“在测试集上调参”是错的?会有什么后果?

第四题算一下两个数字差多少倍。


答案

第一题

不合适。500 个取值会产生 500 列,绝大多数是 0。

三个替代方案:

  1. 目标编码:用每个城市的目标均值代替。一列搞定。要用 out-of-fold 避免泄漏。

  2. 合并稀有类别:出现少于 50 次的城市合并成“其他”,可能只剩 30 个取值。

  3. 用 LightGBM / CatBoost:它们原生支持类别特征,不用你编码。

选择取决于:样本量(样本多才能可靠地算目标均值)、是否需要可解释性。

第二题

因为对数把乘法变加法,长尾变正态。

收入这类数据,少数极高值会主导均值和方差。取对数后,100 和 10000 的差距从 100 倍压缩到 2 倍(log 之后), 极端值不再主导。

对线性模型和神经网络尤其重要——它们的损失函数对大数值非常敏感。

有 0 值:用 log(1+x)。它对 x=0 给出 0,且 x 大时近似 log(x)。

负值的话不能直接取对数,得先平移或者用别的变换(比如 sign(x)·log(1+|x|))。

第三题

错在先 transform 全部数据,再划分。

fit_transform(X) 用到了全部数据的均值和标准差,包括即将成为测试集的那部分。

测试集的分布信息进入了变换规则,造成数据泄漏。

正确写法:

X_train, X_test, y_train, y_test = train_test_split(X, y) X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test)

更好的写法:把这些塞进 Pipeline,让 sklearn 保证顺序。

第四题

网格搜索:6⁵ = 7776 组组合,每组 5 折 = 38880 次训练。

随机搜索:60 组 × 5 折 = 300 次训练。

差 130 倍。

而这 60 组随机采样,在“真正重要的那 2-3 个参数”上的覆盖密度,往往比网格更均匀—— 因为网格在每个参数上都只取 6 个值,重要参数也只有 6 个候选。

这就是随机搜索通常更划算的原因。

第五题

因为测试集的作用是给你一个无偏的最终评估。

一旦你根据测试集的表现来选超参,测试集就参与了模型选择——它变成了验证集。

后果:你报告的分数会偏乐观。而且偏多少你不知道。

一个直观的类比

考试前老师给了你一套模拟题和一套真题。你用模拟题练,用真题测水平——这是对的。

如果你拿真题反复练,练到能做对,那你最后“真题考了 100 分”说明不了任何问题。

测试集只能用一次,就是在所有决定都做完之后。

一句话总结

环节

要点

特征构造

比值、差值、时间间隔往往比原始值有用

类别特征

别编号。少的用独热,多的用目标编码

数值特征

长尾取对数,量纲不同做标准化

Pipeline

防泄漏的机制,不是代码整洁

超参搜索

参数多于 3 个用随机搜索

测试集

只能用一次

下一课

共同的天花板