拓展大全

sklearn 除了前面讲的,还有一大堆模块。这一页按功能分类列全,用的时候当索引。

一、监督学习 · 分类 / 回归

家族分类器回归器一句话
线性LogisticRegression、RidgeClassifierLinearRegression、Ridge、Lasso、ElasticNet基线首选
树DecisionTreeClassifierDecisionTreeRegressor可解释,易过拟合
集成-装袋RandomForest、ExtraTrees同名加 Regressor开箱即用
集成-提升GradientBoosting、HistGradientBoosting、AdaBoost同名加 Regressor表格数据最强
SVMSVC、LinearSVC、NuSVCSVR、LinearSVR、NuSVR小样本高维
近邻KNeighborsClassifierKNeighborsRegressor无训练过程
朴素贝叶斯GaussianNB、MultinomialNB、BernoulliNB、CategoricalNB、ComplementNB—文本分类快速基线
判别分析LinearDiscriminantAnalysis、QuadraticDiscriminantAnalysis—LDA 也能降维
核方法KernelRidge(回归)KernelRidge核岭回归
神经网络MLPClassifierMLPRegressor浅层,不如 PyTorch 灵活
高斯过程GaussianProcessClassifierGaussianProcessRegressor给出预测的不确定性
其他RidgeClassifierCV、SGDClassifierHuberRegressor(抗离群)、RANSACRegressor、TheilSenRegressor鲁棒回归

二、无监督

聚类 cluster

类特点
KMeans球形簇,快,要给 k
MiniBatchKMeans大数据集的分批版
DBSCAN密度,任意形状,自动识别噪声
HDBSCAN密度差别大时更好
AgglomerativeClustering层次聚类
SpectralClustering图论方法,处理非凸簇
GaussianMixture软聚类,给每个点的归属概率
Birch层次 + 增量,内存友好
MeanShift自动定簇数,慢
AffinityPropagation自动定簇数,很慢
OPTICSDBSCAN 的变体,对 eps 不敏感

降维 decomposition / manifold

类用于
PCA线性,密集数据
TruncatedSVD稀疏矩阵(文本)
NMF非负数据,可解释性好
FastICA盲源分离
KernelPCA非线性 PCA
t-SNE可视化专用,不能用于新数据
Isomap、LLE、MDS、SpectralEmbedding流形学习,也是可视化
UMAP不在 sklearn 里,要单独装

异常检测

类做法
IsolationForest随机切分,异常点容易被快速孤立
OneClassSVM只用正常样本训练,学一个边界
LocalOutlierFactor基于局部密度
EllipticEnvelope假设数据服从高斯分布

三、特征工程相关模块

模块内容
preprocessing缩放、编码、离散化、多项式、二值化
imputeSimpleImputer、KNNImputer、IterativeImputer
feature_selectionSelectKBest、RFE、SelectFromModel
feature_extraction.textCountVectorizer、TfidfVectorizer、HashingVectorizer
feature_extraction.imagePatchExtractor、图像分块
kernel_approximationNystroem、RBFSampler:把核方法变成线性方法
random_projection随机投影降维(保距)
from sklearn.feature_extraction.text import TfidfVectorizer

vec = TfidfVectorizer(max_features=5000, ngram_range=(1, 2), stop_words="english")
X = vec.fit_transform(texts)     # 稀疏矩阵

四、模型选择与评估

模块内容
model_selectiontrain_test_split、KFold 家族、GridSearchCV、learning_curve、validation_curve
metrics所有评估指标
calibrationCalibratedClassifierCV、校准曲线
inspectionpermutation_importance、partial_dependence(PDP)、PartialDependenceDisplay
from sklearn.inspection import permutation_importance, PartialDependenceDisplay

r = permutation_importance(model, X_test, y_test, n_repeats=10, random_state=0)
r.importances_mean       # 每个特征的重要性

PartialDependenceDisplay.from_estimator(model, X, [0, 1])

五、组合与流程

类作用
Pipeline串行:上一步输出是下一步输入
FeatureUnion并行:多个转换器结果横向拼起来
ColumnTransformer按列分流
TransformedTargetRegressor对 y 做变换(比如先取 log)
MultiOutputClassifier多标签:每个标签一个模型
ClassifierChain多标签:标签之间有关联时
OneVsRestClassifier多分类当成多个二分类
OneVsOneClassifier两两配对
from sklearn.compose import TransformedTargetRegressor
import numpy as np

# 对 y 取 log,预测时自动还原
m = TransformedTargetRegressor(regressor=Ridge(), func=np.log1p, inverse_func=np.expm1)

六、半监督与自训练

from sklearn.semi_supervised import SelfTrainingClassifier, LabelPropagation, LabelSpreading

# 只有少量标签,大量未标注(标签记为 -1)
st = SelfTrainingClassifier(RandomForestClassifier())
st.fit(X, y_with_minus_one)

七、多分类策略

sklearn 的分类器原生支持多分类,不用手动 OvR。

内部策略:逻辑回归默认用 OvR(可改 multi_class="multinomial"), 树和随机森林原生多分类,SVM 默认 OvO。

八、数据集模块

类别函数
小数据集load_iris load_digits load_wine load_breast_cancer load_diabetes
真实数据下载fetch_california_housing fetch_20newsgroups fetch_olivetti_faces fetch_openml
造数据make_classification make_regression make_blobs make_moons make_circles make_swiss_roll
切分train_test_split ShuffleSplit StratifiedShuffleSplit

九、其他

模块内容
covariance协方差估计、图套索(GraphicalLasso)
cross_decompositionPLS 偏最小二乘
gaussian_process高斯过程回归/分类、各种核
biclustering行列同时聚类(基因数据常用)
isotonic保序回归(单调约束)
multiclass / multioutput多分类/多输出策略
neural_networkMLP、BernoulliRBM
semi_supervised半监督
manifold流形学习
mixture高斯混合、贝叶斯 GMM
cluster聚类
dummyDummyClassifier:随机/多数类基线,用来验证你的模型有没有比瞎猜强
DummyClassifier 别忽略

90% 负类的数据上,模型准确率 0.91 看着不错——但你得知道“全判负”也能到 0.90。

用 DummyClassifier(strategy="most_frequent") 跑一遍,就知道你的模型有没有真的学到东西。

十、一页索引

分类   LogisticRegression DecisionTree RandomForest ExtraTrees
       GradientBoosting HistGradientBoosting AdaBoost SVC LinearSVC
       KNeighbors GaussianNB MultinomialNB LDA QDA MLPClassifier
回归   LinearRegression Ridge Lasso ElasticNet DecisionTreeRegressor
       RandomForestRegressor GradientBoostingRegressor SVR KNeighborsRegressor
       HuberRegressor RANSACRegressor GaussianProcessRegressor
聚类   KMeans MiniBatchKMeans DBSCAN HDBSCAN AgglomerativeClustering
       SpectralClustering GaussianMixture Birch MeanShift OPTICS
降维   PCA TruncatedSVD NMF FastICA KernelPCA TSNE Isomap LLE MDS
异常   IsolationForest OneClassSVM LocalOutlierFactor EllipticEnvelope
预处理 StandardScaler MinMaxScaler RobustScaler OneHotEncoder
       OrdinalEncoder SimpleImputer KBinsDiscretizer PolynomialFeatures
选择   VarianceThreshold SelectKBest RFE RFECV SelectFromModel
流程   Pipeline FeatureUnion ColumnTransformer TransformedTargetRegressor
       MultiOutputClassifier OneVsRestClassifier
评估   accuracy precision recall f1 roc_auc average_precision
       classification_report confusion_matrix make_scorer
搜索   GridSearchCV RandomizedSearchCV HalvingGridSearchCV
检验   learning_curve validation_curve permutation_importance
解释   partial_dependence PartialDependenceDisplay
其他   CalibratedClassifierCV DummyClassifier SelfTrainingClassifier