预处理三件套

真实数据不能直接喂模型。要做三件事:缩放、编码、补缺失。

一、缩放

类公式结果范围什么时候用
StandardScaler(x − 均值) / 标准差大致 −3~3默认选这个
MinMaxScaler(x − min) / (max − min)严格 0~1需要固定范围(图像)
RobustScaler(x − 中位数) / IQR—有离群点
MaxAbsScalerx / max(|x|)−1~1稀疏数据
Normalizer按行归一化到单位长度—文本、方向数据
from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler

sc = StandardScaler()
X_train_s = sc.fit_transform(X_train)   # 学习均值方差 + 转换
X_test_s  = sc.transform(X_test)        # 只用训练集的均值方差

sc.mean_        # 学到的均值
sc.scale_       # 学到的标准差
Normalizer 是按行,别的都是按列

这是唯一一个搞错的:Normalizer 作用在每个样本上(把它变成一个单位向量), 其他 scaler 都作用在每一列上。

名字太像,很容易用错。

树模型不用缩放

决策树、随机森林、GBDT 只看大小关系,缩放不改变结果。

但线性模型、SVM、KNN、神经网络必须缩放,否则量纲大的特征会主导。

判断标准:模型里有没有“减法”或“距离”。

二、编码

类别 → 数字

类做什么输出列数
OneHotEncoder每个类别一列 0/1类别数
OrdinalEncoder每个类别一个整数1
LabelEncoder只能编 y,不能编 X1
from sklearn.preprocessing import OneHotEncoder, OrdinalEncoder

# X 里的类别列
ohe = OneHotEncoder(handle_unknown="ignore", sparse_output=False)
X_train_c = ohe.fit_transform(X_train[["城市"]])
ohe.categories_      # 学到每列有哪些类别

# 有序类别(小/中/大)用 Ordinal 保留顺序
oe = OrdinalEncoder(categories=[["小", "中", "大"]])
X_train_o = oe.fit_transform(X_train[["尺寸"]])
handle_unknown 必须设

训练集里没有“深圳”这个城市,测试集出现了。默认会直接报错。

handle_unknown="ignore" 让它编成全 0(视为未知类别)。

生产环境必设。

别用整数编号代替类别

北京=1、上海=2、广州=3,模型会认为“广州比北京大 2”。

线性模型、SVM、KNN 都会因此学出错误的关系。树模型影响小些,但也没好处。

数值 → 类别

from sklearn.preprocessing import KBinsDiscretizer

kb = KBinsDiscretizer(n_bins=5, encode="ordinal", strategy="quantile")
X_binned = kb.fit_transform(X[["年龄"]])

三、缺失值

类怎么补什么时候用
SimpleImputer均值/中位数/众数/常数默认
KNNImputer用最近的 k 个样本的值特征之间有关联
IterativeImputer用其他列建模预测缺失多、需要更准
MissingIndicator额外加一列“是否缺失”缺失本身是信息
from sklearn.impute import SimpleImputer

imp = SimpleImputer(strategy="median")     # mean / median / most_frequent / constant
X_train_i = imp.fit_transform(X_train)
imp.statistics_                             # 学到了每列的填充值
“是否缺失”本身可能是信息

收入这一列缺了,可能不是随机丢的——可能是高收入者不愿填。

MissingIndicator 额外生成一列 0/1,让模型自己学这个信号。

四、其他常用

类作用
PolynomialFeatures生成多项式与交互项
FunctionTransformer套用任意函数(如 np.log1p)
PowerTransformer让分布更接近正态
QuantileTransformer映射到均匀/正态分布,抗离群点
Binarizer按阈值二值化
from sklearn.preprocessing import FunctionTransformer
log = FunctionTransformer(np.log1p, inverse_func=np.expm1)
X_log = log.fit_transform(X)      # 处理长尾分布
这一课解决了什么

缩放、编码、补缺失,各有几种选择,按数据特点挑。

但所有的 fit 都只能发生在训练集上。下一课专门讲这条线怎么划。