scikit-learn›课程›保存与三个经典坑
保存与三个经典坑
一、怎么存模型
import joblib
joblib.dump(pipe, "model.joblib") # 存
pipe = joblib.load("model.joblib") # 读
pipe.predict(new_data)| joblib | pickle | |
|---|---|---|
| 大数组性能 | 更好 | 一般 |
| 压缩 | compress=3 | 要自己包 |
| 用途 | sklearn 官方推荐 | 通用 |
存的必须是 Pipeline,不是模型
如果预处理是手动做的,你只存了模型,那部署时还得记得“先标准化、再编码”——忘了任何一步,预测结果就是错的,而且不报错。
joblib.dump(pipe) 把预处理和模型一起存了,pipe.predict(原始数据) 直接能用。
二、版本兼容
joblib 和 pickle 存的都是Python 对象,不是通用格式。
训练时 sklearn 1.3,加载时 1.5 ——可能报错,也可能不报错但结果不对。
这是线上事故的常见来源
本地训练出 0.92 的模型,部署到另一台机器(不同 sklearn 版本)后掉到 0.7,还找不到原因。
防护措施:
- 把 sklearn 版本写进
requirements.txt并锁死版本号 - 保存时记下训练的版本:
joblib.dump({"model": pipe, "sklearn": sklearn.__version__}, ...) - 部署后用一小批已知数据做一次冒烟测试,比对预测结果
import sklearn, joblib
joblib.dump({
"model": pipe,
"sklearn_version": sklearn.__version__,
"feature_names": list(X.columns),
"trained_at": "2024-01-15",
}, "model.joblib")三、坑 1:前后不一致的预处理
训练时做了标准化,预测时忘了;或者训练用均值填充,预测用 0 填充。
# 训练
X_train = scaler.fit_transform(X_train)
model.fit(X_train, y_train)
# 部署(忘了缩放)
model.predict(new_raw_data) # ← 结果全错,但不报错解法就是 Pipeline:让它成为一次 fit、一次 predict,中间没法漏。
四、坑 2:数据泄漏
第 4 课详细讲过,这里列检查清单:
| 检查项 | 正确做法 |
|---|---|
| 缩放/编码在哪 fit | 训练集 |
| 特征选择在哪做 | Pipeline 内 |
| 过采样在哪做 | 划分之后、只在训练集 |
| 目标编码用没用全部 y | 用 out-of-fold |
| 时间特征有没有偷看未来 | 用 shift 或严格按时间切 |
| 分组数据有没有跨折 | GroupKFold |
五、坑 3:随机性没控制
同样的代码跑两次,结果不一样——因为随机种子没固定。
train_test_split(..., random_state=42)
RandomForestClassifier(..., random_state=42)
KFold(..., shuffle=True, random_state=42)
StratifiedKFold(..., shuffle=True, random_state=42)所有带随机的都有 random_state 参数。一定要给,否则结果无法复现。
np.random 的全局状态
老代码里用 np.random.seed(42) 设置全局种子。这是全局状态,调用顺序一变结果就变。
新代码用 np.random.default_rng(42),把随机数生成器当对象传,互不干扰。
六、调试清单
模型表现异常时,按顺序查:
- 数据泄漏了吗 —— 检查预处理在哪 fit、有没有用全量
- 划分合理吗 —— 分类用 stratify、时序不打乱、分组不跨折
- 缩放了吗 —— 线性/SVM/KNN 必须缩放,树不用
- 类别不平衡吗 —— 看 accuracy 之外看 recall
- 过拟合吗 —— 训练分远高于验证分
- 欠拟合吗 —— 两个都低
- 随机种子固定了吗
这一课解决了什么
存 Pipeline 不存模型;锁死 sklearn 版本;三种坑都有具体检查手法。
下一课把 sklearn 里其他没讲到的模块过一遍。