scikit-learn›课程›预处理三件套
预处理三件套
真实数据不能直接喂模型。要做三件事:缩放、编码、补缺失。
一、缩放
| 类 | 公式 | 结果范围 | 什么时候用 |
|---|---|---|---|
StandardScaler | (x − 均值) / 标准差 | 大致 −3~3 | 默认选这个 |
MinMaxScaler | (x − min) / (max − min) | 严格 0~1 | 需要固定范围(图像) |
RobustScaler | (x − 中位数) / IQR | — | 有离群点 |
MaxAbsScaler | x / max(|x|) | −1~1 | 稀疏数据 |
Normalizer | 按行归一化到单位长度 | — | 文本、方向数据 |
from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler
sc = StandardScaler()
X_train_s = sc.fit_transform(X_train) # 学习均值方差 + 转换
X_test_s = sc.transform(X_test) # 只用训练集的均值方差
sc.mean_ # 学到的均值
sc.scale_ # 学到的标准差Normalizer 是按行,别的都是按列
这是唯一一个搞错的:Normalizer 作用在每个样本上(把它变成一个单位向量), 其他 scaler 都作用在每一列上。
名字太像,很容易用错。
树模型不用缩放
决策树、随机森林、GBDT 只看大小关系,缩放不改变结果。
但线性模型、SVM、KNN、神经网络必须缩放,否则量纲大的特征会主导。
判断标准:模型里有没有“减法”或“距离”。
二、编码
类别 → 数字
| 类 | 做什么 | 输出列数 |
|---|---|---|
OneHotEncoder | 每个类别一列 0/1 | 类别数 |
OrdinalEncoder | 每个类别一个整数 | 1 |
LabelEncoder | 只能编 y,不能编 X | 1 |
from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder
# X 里的类别列
ohe = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
X_train_c = ohe.fit_transform(X_train[["城市"]])
ohe.categories_ # 学到每列有哪些类别
# 有序类别(小/中/大)用 Ordinal 保留顺序
oe = OrdinalEncoder(categories=[["小", "中", "大"]])
X_train_o = oe.fit_transform(X_train[["尺寸"]])handle_unknown 必须设
训练集里没有“深圳”这个城市,测试集出现了。默认会直接报错。
handle_unknown="ignore" 让它编成全 0(视为未知类别)。
生产环境必设。
别用整数编号代替类别
北京=1、上海=2、广州=3,模型会认为“广州比北京大 2”。
线性模型、SVM、KNN 都会因此学出错误的关系。树模型影响小些,但也没好处。
数值 → 类别
from sklearn.preprocessing import KBinsDiscretizer
kb = KBinsDiscretizer(n_bins=5, encode="ordinal", strategy="quantile")
X_binned = kb.fit_transform(X[["年龄"]])三、缺失值
| 类 | 怎么补 | 什么时候用 |
|---|---|---|
SimpleImputer | 均值/中位数/众数/常数 | 默认 |
KNNImputer | 用最近的 k 个样本的值 | 特征之间有关联 |
IterativeImputer | 用其他列建模预测 | 缺失多、需要更准 |
MissingIndicator | 额外加一列“是否缺失” | 缺失本身是信息 |
from sklearn.impute import SimpleImputer
imp = SimpleImputer(strategy="median") # mean / median / most_frequent / constant
X_train_i = imp.fit_transform(X_train)
imp.statistics_ # 学到了每列的填充值“是否缺失”本身可能是信息
收入这一列缺了,可能不是随机丢的——可能是高收入者不愿填。
MissingIndicator 额外生成一列 0/1,让模型自己学这个信号。
四、其他常用
| 类 | 作用 |
|---|---|
PolynomialFeatures | 生成多项式与交互项 |
FunctionTransformer | 套用任意函数(如 np.log1p) |
PowerTransformer | 让分布更接近正态 |
QuantileTransformer | 映射到均匀/正态分布,抗离群点 |
Binarizer | 按阈值二值化 |
from sklearn.preprocessing import FunctionTransformer
log = FunctionTransformer(np.log1p, inverse_func=np.expm1)
X_log = log.fit_transform(X) # 处理长尾分布这一课解决了什么
缩放、编码、补缺失,各有几种选择,按数据特点挑。
但所有的 fit 都只能发生在训练集上。下一课专门讲这条线怎么划。