超参搜索

GridSearchCV 参数表

参数作用
estimator模型或 Pipeline
param_grid字典或字典列表
cv几折
scoring优化哪个指标(默认模型自带 score)
refit找到最优后是否用全量训练集重训(默认 True)
n_jobs并行数
verbose打印进度
return_train_score是否记录训练分数
error_score某组参数失败时怎么处理("raise" 或 np.nan)
from sklearn.model_selection import GridSearchCV

param_grid = {
    "model__C": [0.01, 0.1, 1, 10, 100],
    "model__penalty": ["l1", "l2"],
}

gs = GridSearchCV(pipe, param_grid, cv=5, scoring="roc_auc", n_jobs=-1, verbose=1)
gs.fit(X_train, y_train)

gs.best_params_      # 最优参数
gs.best_score_       # 交叉验证上的最优分数
gs.best_estimator_   # 用最优参数在全量训练集重训好的模型
gs.cv_results_       # 每组的详细结果(DataFrame 化后很好分析)
best_score_ 不是测试集分数

best_score_ 是交叉验证的分数,而且是从一堆组合里挑出来的最大值——天然偏乐观。

真正无偏的估计要拿独立的测试集算:gs.score(X_test, y_test)。

RandomizedSearchCV

参数多时,网格会爆炸。随机搜索在同样预算下覆盖更密。

from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import loguniform, randint

param_dist = {
    "model__C": loguniform(1e-3, 1e3),      # 对数均匀
    "model__max_iter": randint(100, 2000),
}

rs = RandomizedSearchCV(pipe, param_dist, n_iter=60, cv=5,
                        scoring="roc_auc", random_state=0, n_jobs=-1)
rs.fit(X_train, y_train)
网格随机
试验次数所有组合n_iter 固定
参数多时爆炸可控
适合≤3 个参数>3 个参数
用的必须是分布,不是列表

随机搜索的 param_distributions 要传分布对象(loguniform / randint / 列表也行,会均匀抽)。

网格里传的是列表 [1, 10, 100],随机里通常传 loguniform(1e-3, 1e3)。

HalvingGridSearchCV:先粗后细

先用少量数据筛掉大部分组合,再逐步加数据给剩下的。

from sklearn.experimental import enable_halving_search_cv
from sklearn.model_selection import HalvingGridSearchCV

hs = HalvingGridSearchCV(pipe, param_grid, cv=5, factor=3, n_jobs=-1)
hs.fit(X_train, y_train)

参数组合很多、单次训练很贵时,能省大量时间。

搜哪些参数

不同模型的重点不同:

模型先调后调
逻辑回归 / 线性 SVMCpenalty
随机森林max_depth、min_samples_leafn_estimators(越大越稳,不太会过拟合)
GBDTlearning_rate + n_estimators(一起调)max_depth、subsample
RBF SVMC 和 gamma(一起,都取对数刻度)—
KNNn_neighborsweights(uniform/distance)

先粗后细

别一上来就用细网格:

  1. 第一轮:大范围、粗粒度(C 取 0.001, 0.01, 0.1, 1, 10, 100, 1000)
  2. 第二轮:在最优点附近细化(比如在 1 和 10 之间取 1, 2, 3, 5, 8)

这样比直接上 50 个点省得多。

嵌套交叉验证

如果你既要用 CV 调参、又要用 CV 报告分数,必须嵌套:

from sklearn.model_selection import cross_val_score

# 外层 CV 评估,内层 CV 调参
outer = cross_val_score(gs, X, y, cv=5, scoring="roc_auc")
outer.mean()
不嵌套的话分数会偏高

用同一批数据既挑参数又报分数,等于“考完再对答案”。

论文和严谨报告里必须用嵌套 CV。日常项目可以接受偏乐观,但心里要有数。

这一课解决了什么

参数多就随机搜,能省就把 n_jobs=-1 打开,先粗后细。

下一课讲搜的时候用什么 scoring。