保存与三个经典坑

一、怎么存模型

import joblib

joblib.dump(pipe, "model.joblib")      # 存
pipe = joblib.load("model.joblib")     # 读
pipe.predict(new_data)
joblibpickle
大数组性能更好一般
压缩compress=3要自己包
用途sklearn 官方推荐通用
存的必须是 Pipeline,不是模型

如果预处理是手动做的,你只存了模型,那部署时还得记得“先标准化、再编码”——忘了任何一步,预测结果就是错的,而且不报错。

joblib.dump(pipe) 把预处理和模型一起存了,pipe.predict(原始数据) 直接能用。

二、版本兼容

joblib 和 pickle 存的都是Python 对象,不是通用格式。

训练时 sklearn 1.3,加载时 1.5 ——可能报错,也可能不报错但结果不对。

这是线上事故的常见来源

本地训练出 0.92 的模型,部署到另一台机器(不同 sklearn 版本)后掉到 0.7,还找不到原因。

防护措施:

  • 把 sklearn 版本写进 requirements.txt 并锁死版本号
  • 保存时记下训练的版本:joblib.dump({"model": pipe, "sklearn": sklearn.__version__}, ...)
  • 部署后用一小批已知数据做一次冒烟测试,比对预测结果
import sklearn, joblib

joblib.dump({
    "model": pipe,
    "sklearn_version": sklearn.__version__,
    "feature_names": list(X.columns),
    "trained_at": "2024-01-15",
}, "model.joblib")

三、坑 1:前后不一致的预处理

训练时做了标准化,预测时忘了;或者训练用均值填充,预测用 0 填充。

# 训练
X_train = scaler.fit_transform(X_train)
model.fit(X_train, y_train)

# 部署(忘了缩放)
model.predict(new_raw_data)      # ← 结果全错,但不报错

解法就是 Pipeline:让它成为一次 fit、一次 predict,中间没法漏。

四、坑 2:数据泄漏

第 4 课详细讲过,这里列检查清单:

检查项正确做法
缩放/编码在哪 fit训练集
特征选择在哪做Pipeline 内
过采样在哪做划分之后、只在训练集
目标编码用没用全部 y用 out-of-fold
时间特征有没有偷看未来用 shift 或严格按时间切
分组数据有没有跨折GroupKFold

五、坑 3:随机性没控制

同样的代码跑两次,结果不一样——因为随机种子没固定。

train_test_split(..., random_state=42)
RandomForestClassifier(..., random_state=42)
KFold(..., shuffle=True, random_state=42)
StratifiedKFold(..., shuffle=True, random_state=42)

所有带随机的都有 random_state 参数。一定要给,否则结果无法复现。

np.random 的全局状态

老代码里用 np.random.seed(42) 设置全局种子。这是全局状态,调用顺序一变结果就变。

新代码用 np.random.default_rng(42),把随机数生成器当对象传,互不干扰。

六、调试清单

模型表现异常时,按顺序查:

  1. 数据泄漏了吗 —— 检查预处理在哪 fit、有没有用全量
  2. 划分合理吗 —— 分类用 stratify、时序不打乱、分组不跨折
  3. 缩放了吗 —— 线性/SVM/KNN 必须缩放,树不用
  4. 类别不平衡吗 —— 看 accuracy 之外看 recall
  5. 过拟合吗 —— 训练分远高于验证分
  6. 欠拟合吗 —— 两个都低
  7. 随机种子固定了吗
这一课解决了什么

存 Pipeline 不存模型;锁死 sklearn 版本;三种坑都有具体检查手法。

下一课把 sklearn 里其他没讲到的模块过一遍。