scikit-learn›课程›拓展大全
拓展大全
sklearn 除了前面讲的,还有一大堆模块。这一页按功能分类列全,用的时候当索引。
一、监督学习 · 分类 / 回归
| 家族 | 分类器 | 回归器 | 一句话 |
|---|
| 线性 | LogisticRegression、RidgeClassifier | LinearRegression、Ridge、Lasso、ElasticNet | 基线首选 |
| 树 | DecisionTreeClassifier | DecisionTreeRegressor | 可解释,易过拟合 |
| 集成-装袋 | RandomForest、ExtraTrees | 同名加 Regressor | 开箱即用 |
| 集成-提升 | GradientBoosting、HistGradientBoosting、AdaBoost | 同名加 Regressor | 表格数据最强 |
| SVM | SVC、LinearSVC、NuSVC | SVR、LinearSVR、NuSVR | 小样本高维 |
| 近邻 | KNeighborsClassifier | KNeighborsRegressor | 无训练过程 |
| 朴素贝叶斯 | GaussianNB、MultinomialNB、BernoulliNB、CategoricalNB、ComplementNB | — | 文本分类快速基线 |
| 判别分析 | LinearDiscriminantAnalysis、QuadraticDiscriminantAnalysis | — | LDA 也能降维 |
| 核方法 | KernelRidge(回归) | KernelRidge | 核岭回归 |
| 神经网络 | MLPClassifier | MLPRegressor | 浅层,不如 PyTorch 灵活 |
| 高斯过程 | GaussianProcessClassifier | GaussianProcessRegressor | 给出预测的不确定性 |
| 其他 | RidgeClassifierCV、SGDClassifier | HuberRegressor(抗离群)、RANSACRegressor、TheilSenRegressor | 鲁棒回归 |
二、无监督
聚类 cluster
| 类 | 特点 |
|---|
KMeans | 球形簇,快,要给 k |
MiniBatchKMeans | 大数据集的分批版 |
DBSCAN | 密度,任意形状,自动识别噪声 |
HDBSCAN | 密度差别大时更好 |
AgglomerativeClustering | 层次聚类 |
SpectralClustering | 图论方法,处理非凸簇 |
GaussianMixture | 软聚类,给每个点的归属概率 |
Birch | 层次 + 增量,内存友好 |
MeanShift | 自动定簇数,慢 |
AffinityPropagation | 自动定簇数,很慢 |
OPTICS | DBSCAN 的变体,对 eps 不敏感 |
降维 decomposition / manifold
| 类 | 用于 |
|---|
PCA | 线性,密集数据 |
TruncatedSVD | 稀疏矩阵(文本) |
NMF | 非负数据,可解释性好 |
FastICA | 盲源分离 |
KernelPCA | 非线性 PCA |
t-SNE | 可视化专用,不能用于新数据 |
Isomap、LLE、MDS、SpectralEmbedding | 流形学习,也是可视化 |
UMAP | 不在 sklearn 里,要单独装 |
异常检测
| 类 | 做法 |
|---|
IsolationForest | 随机切分,异常点容易被快速孤立 |
OneClassSVM | 只用正常样本训练,学一个边界 |
LocalOutlierFactor | 基于局部密度 |
EllipticEnvelope | 假设数据服从高斯分布 |
三、特征工程相关模块
| 模块 | 内容 |
|---|
preprocessing | 缩放、编码、离散化、多项式、二值化 |
impute | SimpleImputer、KNNImputer、IterativeImputer |
feature_selection | SelectKBest、RFE、SelectFromModel |
feature_extraction.text | CountVectorizer、TfidfVectorizer、HashingVectorizer |
feature_extraction.image | PatchExtractor、图像分块 |
kernel_approximation | Nystroem、RBFSampler:把核方法变成线性方法 |
random_projection | 随机投影降维(保距) |
from sklearn.feature_extraction.text import TfidfVectorizer
vec = TfidfVectorizer(max_features=5000, ngram_range=(1, 2), stop_words="english")
X = vec.fit_transform(texts) # 稀疏矩阵
四、模型选择与评估
| 模块 | 内容 |
|---|
model_selection | train_test_split、KFold 家族、GridSearchCV、learning_curve、validation_curve |
metrics | 所有评估指标 |
calibration | CalibratedClassifierCV、校准曲线 |
inspection | permutation_importance、partial_dependence(PDP)、PartialDependenceDisplay |
from sklearn.inspection import permutation_importance, PartialDependenceDisplay
r = permutation_importance(model, X_test, y_test, n_repeats=10, random_state=0)
r.importances_mean # 每个特征的重要性
PartialDependenceDisplay.from_estimator(model, X, [0, 1])
五、组合与流程
| 类 | 作用 |
|---|
Pipeline | 串行:上一步输出是下一步输入 |
FeatureUnion | 并行:多个转换器结果横向拼起来 |
ColumnTransformer | 按列分流 |
TransformedTargetRegressor | 对 y 做变换(比如先取 log) |
MultiOutputClassifier | 多标签:每个标签一个模型 |
ClassifierChain | 多标签:标签之间有关联时 |
OneVsRestClassifier | 多分类当成多个二分类 |
OneVsOneClassifier | 两两配对 |
from sklearn.compose import TransformedTargetRegressor
import numpy as np
# 对 y 取 log,预测时自动还原
m = TransformedTargetRegressor(regressor=Ridge(), func=np.log1p, inverse_func=np.expm1)
六、半监督与自训练
from sklearn.semi_supervised import SelfTrainingClassifier, LabelPropagation, LabelSpreading
# 只有少量标签,大量未标注(标签记为 -1)
st = SelfTrainingClassifier(RandomForestClassifier())
st.fit(X, y_with_minus_one)
七、多分类策略
sklearn 的分类器原生支持多分类,不用手动 OvR。
内部策略:逻辑回归默认用 OvR(可改 multi_class="multinomial"), 树和随机森林原生多分类,SVM 默认 OvO。
八、数据集模块
| 类别 | 函数 |
|---|
| 小数据集 | load_iris load_digits load_wine load_breast_cancer load_diabetes |
| 真实数据下载 | fetch_california_housing fetch_20newsgroups fetch_olivetti_faces fetch_openml |
| 造数据 | make_classification make_regression make_blobs make_moons make_circles make_swiss_roll |
| 切分 | train_test_split ShuffleSplit StratifiedShuffleSplit |
九、其他
| 模块 | 内容 |
|---|
covariance | 协方差估计、图套索(GraphicalLasso) |
cross_decomposition | PLS 偏最小二乘 |
gaussian_process | 高斯过程回归/分类、各种核 |
biclustering | 行列同时聚类(基因数据常用) |
isotonic | 保序回归(单调约束) |
multiclass / multioutput | 多分类/多输出策略 |
neural_network | MLP、BernoulliRBM |
semi_supervised | 半监督 |
manifold | 流形学习 |
mixture | 高斯混合、贝叶斯 GMM |
cluster | 聚类 |
dummy | DummyClassifier:随机/多数类基线,用来验证你的模型有没有比瞎猜强 |
90% 负类的数据上,模型准确率 0.91 看着不错——但你得知道“全判负”也能到 0.90。
用 DummyClassifier(strategy="most_frequent") 跑一遍,就知道你的模型有没有真的学到东西。
十、一页索引
分类 LogisticRegression DecisionTree RandomForest ExtraTrees
GradientBoosting HistGradientBoosting AdaBoost SVC LinearSVC
KNeighbors GaussianNB MultinomialNB LDA QDA MLPClassifier
回归 LinearRegression Ridge Lasso ElasticNet DecisionTreeRegressor
RandomForestRegressor GradientBoostingRegressor SVR KNeighborsRegressor
HuberRegressor RANSACRegressor GaussianProcessRegressor
聚类 KMeans MiniBatchKMeans DBSCAN HDBSCAN AgglomerativeClustering
SpectralClustering GaussianMixture Birch MeanShift OPTICS
降维 PCA TruncatedSVD NMF FastICA KernelPCA TSNE Isomap LLE MDS
异常 IsolationForest OneClassSVM LocalOutlierFactor EllipticEnvelope
预处理 StandardScaler MinMaxScaler RobustScaler OneHotEncoder
OrdinalEncoder SimpleImputer KBinsDiscretizer PolynomialFeatures
选择 VarianceThreshold SelectKBest RFE RFECV SelectFromModel
流程 Pipeline FeatureUnion ColumnTransformer TransformedTargetRegressor
MultiOutputClassifier OneVsRestClassifier
评估 accuracy precision recall f1 roc_auc average_precision
classification_report confusion_matrix make_scorer
搜索 GridSearchCV RandomizedSearchCV HalvingGridSearchCV
检验 learning_curve validation_curve permutation_importance
解释 partial_dependence PartialDependenceDisplay
其他 CalibratedClassifierCV DummyClassifier SelfTrainingClassifier