数值特征的变换
先看分布
拿到一个数值特征,第一件事是画直方图,看它长什么样。
常见的三种形态,处理方式不同。
形态一:接近正态
不用处理。标准化一下就能喂给对量纲敏感的模型。
形态二:长尾(右偏)
收入、人口、点击量、房价——大多数“量”类特征都是这种:大部分值很小,少数值极大。
直接喂给模型,那几个极大值会主导一切。树模型相对没事(只比较大小),但线性模型、kNN、神经网络会很糟。
处理:取对数。
为什么取对数有效
对数把乘法关系变成加法关系。长尾分布取对数后往往接近正态。
而且它压缩了极端值:100 和 10000 差 100 倍,取对数后只差 2。
注意:取 log 之前要确认所有值 > 0。有 0 的话用 log(1+x)。
形态三:双峰
数据里有两群人混在一起(比如“偶尔买”和“经常买”)。这时候一个特征描述不了两种行为。
处理:加一个指示特征(是否属于某一群),或者分群建模。
标准化 vs 归一化
标准化 (StandardScaler) | 归一化 (MinMaxScaler) | |
|---|---|---|
公式 | (x − 均值) / 标准差 | (x − 最小) / (最大 − 最小) |
结果范围 | 大致 −3 到 3 | 严格 0 到 1 |
受异常值影响 | 较小 | 很大 |
常用 | 默认选这个 | 需要固定范围时(如图像像素) |
归一化对异常值极敏感
有一个离群点 x = 10000,其他都在 0-100。归一化后所有正常点都挤在 0 到 0.01 之间,等于全被压扁了。
标准化用标准差,虽然也受影响,但没那么极端。
缺失值
三种处理:
删掉:缺失比例很小时可用
填充:均值/中位数/众数,或者用其他特征预测
当特殊值:填一个不可能的数值(如 −999),让树自己学“缺失”的含义
第三种常被忽略
“有没有缺失”本身可能是信息。比如“收入”缺失的用户,可能就是不愿填收入的高收入者。
树模型能利用这一点:缺失值走一条专门的分支。XGBoost 和 LightGBM 原生支持。
更好的做法:额外加一个“是否缺失”的 0/1 特征。
这一课解决了什么
数值特征的处理围绕“分布形状”展开:长尾取对数,双峰加指示,量纲不同做标准化。
下一课把所有这些步骤焊死成一个整体——这是避免数据泄漏最有效的办法。