常用模型速查

按家族列一遍。每个给类名、关键参数、什么时候用。

一、线性模型

类任务关键参数
LinearRegression回归无(最小二乘)
Ridge回归alpha(L2 强度)
Lasso回归alpha(L1,会把系数压到 0)
ElasticNet回归alpha、l1_ratio
LogisticRegression分类C(正则强度的倒数)、penalty、max_iter
SGDClassifier分类大数据集用,loss 可选多种
from sklearn.linear_model import Ridge, Lasso, LogisticRegression

Ridge(alpha=1.0).fit(X, y)
LogisticRegression(C=1.0, penalty="l2", max_iter=5000).fit(X, y)
C 和 alpha 方向相反

alpha 越大正则越强(模型越简单)。

C 是正则强度的倒数,越大正则越弱(模型越复杂,易过拟合)。

调参时别搞反。

二、树

from sklearn.tree import DecisionTreeClassifier, DecisionTreeRegressor

DecisionTreeClassifier(
    max_depth=5,              # 最大深度
    min_samples_leaf=10,      # 叶子最少样本
    min_samples_split=20,     # 节点最少样本才允许分
    criterion="gini",         # gini / entropy
    random_state=0,
)

三、集成

类关键参数特点
RandomForestClassifiern_estimators、max_depth、max_features、oob_score开箱即用,几乎不用调
ExtraTreesClassifier同上更随机,更快,偏差略高
GradientBoostingClassifiern_estimators、learning_rate、max_depth精度高,慢,要调
HistGradientBoostingClassifier同上 + max_bins快得多,大数据集首选
AdaBoostClassifiern_estimators、learning_rate老算法,少用
BaggingClassifierestimator、n_estimators可套任意模型
VotingClassifierestimators、voting="soft"/"hard"多个不同模型投票
StackingClassifierestimators、final_estimator用元模型组合
from sklearn.ensemble import (RandomForestClassifier,
                             HistGradientBoostingClassifier)

RandomForestClassifier(n_estimators=300, n_jobs=-1, random_state=0)
HistGradientBoostingClassifier(max_iter=300, learning_rate=0.1)
不知道选什么时

表格数据:先试 HistGradientBoostingClassifier,再试 RandomForest。

前者精度通常更高、支持缺失值;后者不用调参、更稳。

四、SVM

from sklearn.svm import SVC, LinearSVC

SVC(kernel="rbf", C=1.0, gamma="scale")
SVC(kernel="linear", C=1.0)      # 线性核
LinearSVC(C=1.0)                  # 线性专用的快速实现
参数作用
kernel"rbf"(默认)/ "linear" / "poly" / "sigmoid"
C违规代价,越大越严格
gammaRBF 的影响半径,"scale" 是合理默认
probability设 True 才能 predict_proba(会变慢)
SVM 必须缩放

SVM 基于距离,量纲差别大会直接失效。前面一定要接 StandardScaler。

而且样本量大时核矩阵是 n×n,几万样本就会很慢。

五、KNN

from sklearn.neighbors import KNeighborsClassifier

KNeighborsClassifier(n_neighbors=5, weights="uniform", metric="minkowski")

没有训练过程(fit 只是存数据),预测时才算距离。所以预测慢、训练快。

同样必须缩放。

六、朴素贝叶斯

from sklearn.naive_bayes import GaussianNB, MultinomialNB, BernoulliNB

GaussianNB()          # 连续特征
MultinomialNB()       # 计数特征(文本词频)
BernoulliNB()         # 0/1 特征

极快、几乎不用调参,适合做基线。特征是条件独立的强假设——现实中不成立,但常常够用。

七、判别分析

from sklearn.discriminant_analysis import (LinearDiscriminantAnalysis,
                                          QuadraticDiscriminantAnalysis)

LinearDiscriminantAnalysis()    # 也可用于降维
QuadraticDiscriminantAnalysis()

八、怎么选

情况先试
不知道用什么HistGradientBoosting 和 RandomForest
要快、要能解释逻辑回归 / 线性回归
样本少、特征多线性模型 + 正则,或 SVM 线性核
样本极少(<100)简单模型 + 强正则,别上集成
特征量纲差异大树模型(不需要缩放)
需要概率输出逻辑回归(校准好)、或 CalibratedClassifierCV
在线学习(数据流)SGDClassifier(支持 partial_fit)
先跑基线

拿到数据先跑逻辑回归。它几分钟就能出结果,告诉你问题的难度。

如果线性模型就到 0.95,后面全不用试;如果只有 0.6 而集成到 0.92,说明关系高度非线性。

这一课解决了什么

八类模型的类名、关键参数、适用面都有了。

下一课讲怎么从几百个特征里挑出有用的。