scikit-learn›课程›超参搜索
超参搜索
GridSearchCV 参数表
| 参数 | 作用 |
|---|---|
estimator | 模型或 Pipeline |
param_grid | 字典或字典列表 |
cv | 几折 |
scoring | 优化哪个指标(默认模型自带 score) |
refit | 找到最优后是否用全量训练集重训(默认 True) |
n_jobs | 并行数 |
verbose | 打印进度 |
return_train_score | 是否记录训练分数 |
error_score | 某组参数失败时怎么处理("raise" 或 np.nan) |
from sklearn.model_selection import GridSearchCV
param_grid = {
"model__C": [0.01, 0.1, 1, 10, 100],
"model__penalty": ["l1", "l2"],
}
gs = GridSearchCV(pipe, param_grid, cv=5, scoring="roc_auc", n_jobs=-1, verbose=1)
gs.fit(X_train, y_train)
gs.best_params_ # 最优参数
gs.best_score_ # 交叉验证上的最优分数
gs.best_estimator_ # 用最优参数在全量训练集重训好的模型
gs.cv_results_ # 每组的详细结果(DataFrame 化后很好分析)best_score_ 不是测试集分数
best_score_ 是交叉验证的分数,而且是从一堆组合里挑出来的最大值——天然偏乐观。
真正无偏的估计要拿独立的测试集算:gs.score(X_test, y_test)。
RandomizedSearchCV
参数多时,网格会爆炸。随机搜索在同样预算下覆盖更密。
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import loguniform, randint
param_dist = {
"model__C": loguniform(1e-3, 1e3), # 对数均匀
"model__max_iter": randint(100, 2000),
}
rs = RandomizedSearchCV(pipe, param_dist, n_iter=60, cv=5,
scoring="roc_auc", random_state=0, n_jobs=-1)
rs.fit(X_train, y_train)| 网格 | 随机 | |
|---|---|---|
| 试验次数 | 所有组合 | n_iter 固定 |
| 参数多时 | 爆炸 | 可控 |
| 适合 | ≤3 个参数 | >3 个参数 |
用的必须是分布,不是列表
随机搜索的 param_distributions 要传分布对象(loguniform / randint / 列表也行,会均匀抽)。
网格里传的是列表 [1, 10, 100],随机里通常传 loguniform(1e-3, 1e3)。
HalvingGridSearchCV:先粗后细
先用少量数据筛掉大部分组合,再逐步加数据给剩下的。
from sklearn.experimental import enable_halving_search_cv
from sklearn.model_selection import HalvingGridSearchCV
hs = HalvingGridSearchCV(pipe, param_grid, cv=5, factor=3, n_jobs=-1)
hs.fit(X_train, y_train)参数组合很多、单次训练很贵时,能省大量时间。
搜哪些参数
不同模型的重点不同:
| 模型 | 先调 | 后调 |
|---|---|---|
| 逻辑回归 / 线性 SVM | C | penalty |
| 随机森林 | max_depth、min_samples_leaf | n_estimators(越大越稳,不太会过拟合) |
| GBDT | learning_rate + n_estimators(一起调) | max_depth、subsample |
| RBF SVM | C 和 gamma(一起,都取对数刻度) | — |
| KNN | n_neighbors | weights(uniform/distance) |
先粗后细
别一上来就用细网格:
- 第一轮:大范围、粗粒度(
C取 0.001, 0.01, 0.1, 1, 10, 100, 1000) - 第二轮:在最优点附近细化(比如在 1 和 10 之间取 1, 2, 3, 5, 8)
这样比直接上 50 个点省得多。
嵌套交叉验证
如果你既要用 CV 调参、又要用 CV 报告分数,必须嵌套:
from sklearn.model_selection import cross_val_score
# 外层 CV 评估,内层 CV 调参
outer = cross_val_score(gs, X, y, cv=5, scoring="roc_auc")
outer.mean()不嵌套的话分数会偏高
用同一批数据既挑参数又报分数,等于“考完再对答案”。
论文和严谨报告里必须用嵌套 CV。日常项目可以接受偏乐观,但心里要有数。
这一课解决了什么
参数多就随机搜,能省就把 n_jobs=-1 打开,先粗后细。
下一课讲搜的时候用什么 scoring。