特征比模型重要

一个不太好接受的结论

同样一份数据,加一个好特征可能让准确率涨 5 个点;换个模型可能只涨 0.5 个点。

但模型是算法的事,特征是业务的事——这才是难的地方。

为什么特征更重要

模型只能在给定的特征空间里找关系。如果真正的规律需要的信息根本不在特征里,任何模型都找不出来。

比如预测房价,你只有“面积”和“楼层”,没有“到地铁的距离”。再强的模型也学不会距离的影响—— 那个信息压根没进模型。

三种特征工作

一、构造

从现有字段造出新的:

  • 日期 → 星期几、是否周末、距今天数

  • 宽和高 → 面积、长宽比

  • 收入和负债 → 负债率

关键洞察:比值和差值往往比原始值有用。因为很多规律本质上是相对的。

二、变换

改变分布形状,让模型更好处理:

  • 取对数:处理长尾分布(收入、人口、点击数)

  • 开方:处理计数数据

  • 分箱:把连续值切成几段

三、编码

把非数值变成数值。下一课专门讲。

一个具体的例子

假设你在预测“用户会不会续费”,手里有“注册时间”和“最后登录时间”。

直接用这两个时间戳,几乎没有信息量——每个人的值都不一样,而且绝对值没有意义。

但“最后登录距今天数”这个构造出来的特征,可能一下就把活跃用户和流失用户分开了。

这就是“业务理解”的含义

不是懂算法,是知道这两个字段相减有意义。

算法工程师不知道这个;做业务的人一眼就看出来。

为什么自动化替代不了

有人会问:神经网络不是能自己学特征吗?

能,但需要大量数据。而表格数据往往只有几千到几万行——这么点样本,模型学不出好特征,人工构造反而更有效。

这就是为什么在表格数据上,精心做特征 + GBDT 常常打败端到端的深度学习。

这一课解决了什么

特征的价值在于把“业务知识”翻译成模型能用的数字。

下一课讲最常遇到的一种情况:特征是类别,不是数字。