超参搜索

什么是超参

模型训练时自己学出来的叫参数(权重、树的分裂点)。你事先定好的叫超参 (λ、max_depth、learning_rate、n_estimators)。

超参不能通过训练得到——训练只优化参数。所以只能试。

三种搜法

网格搜索

每个参数列出候选值,穷举所有组合。

缺点:维度爆炸。5 个参数各 6 个候选,就是 6⁵ = 7776 次训练。

随机搜索

从每个参数的分布里随机采样若干组,试这么多组就停。

随机搜索通常比网格好

因为大多数超参只有少数几个真正重要,其余影响很小。

网格搜索在无关参数上浪费了大量组合。随机搜索在同样预算下,能更密集地覆盖重要参数。

经验:参数超过 3 个,直接用随机搜索。

贝叶斯优化

根据已经试过的结果,推测下一个该试哪里。

比随机搜索更省次数,但实现复杂、并行困难。参数多、单次训练慢时值得用。

用 Pipeline 调参

参数名要用步骤名加双下划线:

param_grid = { "model__max_depth": [3, 5, 8], "model__n_estimators": [100, 300], "pre__num__with_mean": [True, False], } GridSearchCV(pipe, param_grid, cv=5)

这个坑很常见

忘了写 model__ 前缀,sklearn 会报 “Invalid parameter”。

而且步骤名是你在 Pipeline 里自己起的,不是类名。

调参的顺序

参数之间有依赖,按这个顺序效率最高:

  1. 先定模型类型(线性 / 树 / 集成)——这个影响最大

  2. 再调控制复杂度的那一个(树的 max_depth、SVM 的 C、GBDT 的 n_estimators)

  3. 然后调正则(L2 系数、min_samples_leaf)

  4. 最后调细节(learning_rate、subsample 之类)

先粗后细

第一轮用很大的范围(比如 max_depth 试 1、5、20、100),看哪个区间好。

第二轮在那个区间附近细化。这比一开始就用精细网格省很多时间。

交叉验证的折数

常用 5 折或 10 折。折越多,评估越稳,但训练次数也越多(5 折 = 5 次训练)。

配合网格搜索时,总训练次数 = 组合数 × 折数。100 组 × 5 折 = 500 次训练。

别在测试集上调参

如果你用测试集挑超参,测试集就变成了验证集,你最后的“测试分数”不再是无偏估计。

正确做法:训练 / 验证 / 测试三分,或者用嵌套交叉验证。

第 5 章讲过这件事,这里是最容易犯的地方——因为调参时你会反复看分数,很容易顺手看测试集。

这一课解决了什么

超参搜索的核心是“用有限预算覆盖大空间”,随机搜索性价比最高。

到这里工程部分讲完了。最后一章回答一个更根本的问题:为什么还要学神经网络?

下一课

习题