机器学习›第 15 章 特征工程与流程›特征比模型重要
特征比模型重要
一个不太好接受的结论
同样一份数据,加一个好特征可能让准确率涨 5 个点;换个模型可能只涨 0.5 个点。
但模型是算法的事,特征是业务的事——这才是难的地方。
为什么特征更重要
模型只能在给定的特征空间里找关系。如果真正的规律需要的信息根本不在特征里,任何模型都找不出来。
比如预测房价,你只有“面积”和“楼层”,没有“到地铁的距离”。再强的模型也学不会距离的影响—— 那个信息压根没进模型。
三种特征工作
一、构造
从现有字段造出新的:
日期 → 星期几、是否周末、距今天数
宽和高 → 面积、长宽比
收入和负债 → 负债率
关键洞察:比值和差值往往比原始值有用。因为很多规律本质上是相对的。
二、变换
改变分布形状,让模型更好处理:
取对数:处理长尾分布(收入、人口、点击数)
开方:处理计数数据
分箱:把连续值切成几段
三、编码
把非数值变成数值。下一课专门讲。
一个具体的例子
假设你在预测“用户会不会续费”,手里有“注册时间”和“最后登录时间”。
直接用这两个时间戳,几乎没有信息量——每个人的值都不一样,而且绝对值没有意义。
但“最后登录距今天数”这个构造出来的特征,可能一下就把活跃用户和流失用户分开了。
这就是“业务理解”的含义
不是懂算法,是知道这两个字段相减有意义。
算法工程师不知道这个;做业务的人一眼就看出来。
为什么自动化替代不了
有人会问:神经网络不是能自己学特征吗?
能,但需要大量数据。而表格数据往往只有几千到几万行——这么点样本,模型学不出好特征,人工构造反而更有效。
这就是为什么在表格数据上,精心做特征 + GBDT 常常打败端到端的深度学习。
这一课解决了什么
特征的价值在于把“业务知识”翻译成模型能用的数字。
下一课讲最常遇到的一种情况:特征是类别,不是数字。