scikit-learn›前言›scikit-learn 前言
scikit-learn 前言
传统机器学习的模型库,主战场是表格数据:几十到几十万行,要一个当天能交差的 baseline。 它真正值钱的不是模型数量,是所有模型共用一个接口。
它是干什么的
约定只有三个方法:fit 从数据里学,predict 给预测,transform 换一份表示。 1.9.1 里 all_estimators() 数出来 208 个 estimator,全都这么用:换模型只改 import 和实例化那一行。
正因为接口统一,那些最容易写错的地方它都收进了对象里: 交叉验证自己切折(cross_val_score),调参自己枚举(GridSearchCV), 预处理和模型绑成一个整体(Pipeline),保证缩放只在训练折上 fit。
它解决什么问题
同一份数据上比十个模型。没有统一接口的时候,这是十份代码:数据格式、训练、预测、评估各一套; 有了统一接口,是一个 for 循环。
更实际的是挡掉几类最常见的错:在测试集上 fit 预处理、交叉验证只切一次就下结论、 拿 accuracy 评估不平衡数据、把模型 pickle 下来换台机器加载。
什么时候会用到它
表格数据、样本上万、要先知道「这份数据值不值得继续做」。 569 行 30 列的乳腺癌数据,Pipeline 里放一个 StandardScaler加一个 LogisticRegression,cross_val_score(cv=5) 给出 5 个分数,八行代码。
反过来:图像、文本、序列、要 GPU 的,不是它的场合。
这个库的课
12 课,从接口一直排到落地。
- 统一接口:三个方法,几十个模型长一个样。
- 数据怎么进 sklearn:X 和 y 的形状是硬要求,划分在预处理之前。
- 预处理三件套:缩放、编码、缺失值。
- fit 和 transform 的界线:谁在训练集上学,数据泄漏就是从这来的。
- Pipeline 与 ColumnTransformer:不同列走不同流程,最后合成一个对象。
- 交叉验证:一次划分靠不住,五种切分策略。
- 超参搜索:GridSearchCV、随机搜、先粗后细。
- 评估指标:scoring 怎么填,不平衡数据看哪个。
- 常用模型速查:线性、树、集成、SVM、KNN,该用哪个。
- 特征选择与降维:过滤式、RFE、嵌入式、降维。
- 保存与三个经典坑:joblib、版本兼容、预处理前后不一致。
- 拓展大全:十个分类的模块索引。