习题
题目
第一题 “城市”特征有 500 个不同取值。独热编码合适吗?还有什么办法?
第二题 收入特征严重右偏。为什么取对数有帮助?有 0 值怎么办?
第三题 下面这段代码错在哪?
X = scaler.fit_transform(X) X_train, X_test = train_test_split(X) model.fit(X_train, y_train)第四题 5 个超参,每个 6 个候选值。网格搜索要训练多少次(5 折交叉验证)?随机搜索试 60 组呢?
第五题 为什么说“在测试集上调参”是错的?会有什么后果?
第四题算一下两个数字差多少倍。
答案
第一题
不合适。500 个取值会产生 500 列,绝大多数是 0。
三个替代方案:
目标编码:用每个城市的目标均值代替。一列搞定。要用 out-of-fold 避免泄漏。
合并稀有类别:出现少于 50 次的城市合并成“其他”,可能只剩 30 个取值。
用 LightGBM / CatBoost:它们原生支持类别特征,不用你编码。
选择取决于:样本量(样本多才能可靠地算目标均值)、是否需要可解释性。
第二题
因为对数把乘法变加法,长尾变正态。
收入这类数据,少数极高值会主导均值和方差。取对数后,100 和 10000 的差距从 100 倍压缩到 2 倍(log 之后), 极端值不再主导。
对线性模型和神经网络尤其重要——它们的损失函数对大数值非常敏感。
有 0 值:用 log(1+x)。它对 x=0 给出 0,且 x 大时近似 log(x)。
负值的话不能直接取对数,得先平移或者用别的变换(比如 sign(x)·log(1+|x|))。
第三题
错在先 transform 全部数据,再划分。
fit_transform(X) 用到了全部数据的均值和标准差,包括即将成为测试集的那部分。
测试集的分布信息进入了变换规则,造成数据泄漏。
正确写法:
X_train, X_test, y_train, y_test = train_test_split(X, y) X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test)更好的写法:把这些塞进 Pipeline,让 sklearn 保证顺序。
第四题
网格搜索:6⁵ = 7776 组组合,每组 5 折 = 38880 次训练。
随机搜索:60 组 × 5 折 = 300 次训练。
差 130 倍。
而这 60 组随机采样,在“真正重要的那 2-3 个参数”上的覆盖密度,往往比网格更均匀—— 因为网格在每个参数上都只取 6 个值,重要参数也只有 6 个候选。
这就是随机搜索通常更划算的原因。
第五题
因为测试集的作用是给你一个无偏的最终评估。
一旦你根据测试集的表现来选超参,测试集就参与了模型选择——它变成了验证集。
后果:你报告的分数会偏乐观。而且偏多少你不知道。
一个直观的类比
考试前老师给了你一套模拟题和一套真题。你用模拟题练,用真题测水平——这是对的。
如果你拿真题反复练,练到能做对,那你最后“真题考了 100 分”说明不了任何问题。
测试集只能用一次,就是在所有决定都做完之后。
一句话总结
环节 | 要点 |
|---|---|
特征构造 | 比值、差值、时间间隔往往比原始值有用 |
类别特征 | 别编号。少的用独热,多的用目标编码 |
数值特征 | 长尾取对数,量纲不同做标准化 |
Pipeline | 防泄漏的机制,不是代码整洁 |
超参搜索 | 参数多于 3 个用随机搜索 |
测试集 | 只能用一次 |
下一课
共同的天花板