scikit-learn›课程›常用模型速查
常用模型速查
按家族列一遍。每个给类名、关键参数、什么时候用。
一、线性模型
| 类 | 任务 | 关键参数 |
|---|---|---|
LinearRegression | 回归 | 无(最小二乘) |
Ridge | 回归 | alpha(L2 强度) |
Lasso | 回归 | alpha(L1,会把系数压到 0) |
ElasticNet | 回归 | alpha、l1_ratio |
LogisticRegression | 分类 | C(正则强度的倒数)、penalty、max_iter |
SGDClassifier | 分类 | 大数据集用,loss 可选多种 |
from sklearn.linear_model import Ridge, Lasso, LogisticRegression
Ridge(alpha=1.0).fit(X, y)
LogisticRegression(C=1.0, penalty="l2", max_iter=5000).fit(X, y)C 和 alpha 方向相反
alpha 越大正则越强(模型越简单)。
C 是正则强度的倒数,越大正则越弱(模型越复杂,易过拟合)。
调参时别搞反。
二、树
from sklearn.tree import DecisionTreeClassifier, DecisionTreeRegressor
DecisionTreeClassifier(
max_depth=5, # 最大深度
min_samples_leaf=10, # 叶子最少样本
min_samples_split=20, # 节点最少样本才允许分
criterion="gini", # gini / entropy
random_state=0,
)三、集成
| 类 | 关键参数 | 特点 |
|---|---|---|
RandomForestClassifier | n_estimators、max_depth、max_features、oob_score | 开箱即用,几乎不用调 |
ExtraTreesClassifier | 同上 | 更随机,更快,偏差略高 |
GradientBoostingClassifier | n_estimators、learning_rate、max_depth | 精度高,慢,要调 |
HistGradientBoostingClassifier | 同上 + max_bins | 快得多,大数据集首选 |
AdaBoostClassifier | n_estimators、learning_rate | 老算法,少用 |
BaggingClassifier | estimator、n_estimators | 可套任意模型 |
VotingClassifier | estimators、voting="soft"/"hard" | 多个不同模型投票 |
StackingClassifier | estimators、final_estimator | 用元模型组合 |
from sklearn.ensemble import (RandomForestClassifier,
HistGradientBoostingClassifier)
RandomForestClassifier(n_estimators=300, n_jobs=-1, random_state=0)
HistGradientBoostingClassifier(max_iter=300, learning_rate=0.1)不知道选什么时
表格数据:先试 HistGradientBoostingClassifier,再试 RandomForest。
前者精度通常更高、支持缺失值;后者不用调参、更稳。
四、SVM
from sklearn.svm import SVC, LinearSVC
SVC(kernel="rbf", C=1.0, gamma="scale")
SVC(kernel="linear", C=1.0) # 线性核
LinearSVC(C=1.0) # 线性专用的快速实现| 参数 | 作用 |
|---|---|
kernel | "rbf"(默认)/ "linear" / "poly" / "sigmoid" |
C | 违规代价,越大越严格 |
gamma | RBF 的影响半径,"scale" 是合理默认 |
probability | 设 True 才能 predict_proba(会变慢) |
SVM 必须缩放
SVM 基于距离,量纲差别大会直接失效。前面一定要接 StandardScaler。
而且样本量大时核矩阵是 n×n,几万样本就会很慢。
五、KNN
from sklearn.neighbors import KNeighborsClassifier
KNeighborsClassifier(n_neighbors=5, weights="uniform", metric="minkowski")没有训练过程(fit 只是存数据),预测时才算距离。所以预测慢、训练快。
同样必须缩放。
六、朴素贝叶斯
from sklearn.naive_bayes import GaussianNB, MultinomialNB, BernoulliNB
GaussianNB() # 连续特征
MultinomialNB() # 计数特征(文本词频)
BernoulliNB() # 0/1 特征极快、几乎不用调参,适合做基线。特征是条件独立的强假设——现实中不成立,但常常够用。
七、判别分析
from sklearn.discriminant_analysis import (LinearDiscriminantAnalysis,
QuadraticDiscriminantAnalysis)
LinearDiscriminantAnalysis() # 也可用于降维
QuadraticDiscriminantAnalysis()八、怎么选
| 情况 | 先试 |
|---|---|
| 不知道用什么 | HistGradientBoosting 和 RandomForest |
| 要快、要能解释 | 逻辑回归 / 线性回归 |
| 样本少、特征多 | 线性模型 + 正则,或 SVM 线性核 |
| 样本极少(<100) | 简单模型 + 强正则,别上集成 |
| 特征量纲差异大 | 树模型(不需要缩放) |
| 需要概率输出 | 逻辑回归(校准好)、或 CalibratedClassifierCV |
| 在线学习(数据流) | SGDClassifier(支持 partial_fit) |
先跑基线
拿到数据先跑逻辑回归。它几分钟就能出结果,告诉你问题的难度。
如果线性模型就到 0.95,后面全不用试;如果只有 0.6 而集成到 0.92,说明关系高度非线性。
这一课解决了什么
八类模型的类名、关键参数、适用面都有了。
下一课讲怎么从几百个特征里挑出有用的。