超参搜索
什么是超参
模型训练时自己学出来的叫参数(权重、树的分裂点)。你事先定好的叫超参 (λ、max_depth、learning_rate、n_estimators)。
超参不能通过训练得到——训练只优化参数。所以只能试。
三种搜法
网格搜索
每个参数列出候选值,穷举所有组合。
缺点:维度爆炸。5 个参数各 6 个候选,就是 6⁵ = 7776 次训练。
随机搜索
从每个参数的分布里随机采样若干组,试这么多组就停。
随机搜索通常比网格好
因为大多数超参只有少数几个真正重要,其余影响很小。
网格搜索在无关参数上浪费了大量组合。随机搜索在同样预算下,能更密集地覆盖重要参数。
经验:参数超过 3 个,直接用随机搜索。
贝叶斯优化
根据已经试过的结果,推测下一个该试哪里。
比随机搜索更省次数,但实现复杂、并行困难。参数多、单次训练慢时值得用。
用 Pipeline 调参
参数名要用步骤名加双下划线:
param_grid = { "model__max_depth": [3, 5, 8], "model__n_estimators": [100, 300], "pre__num__with_mean": [True, False], } GridSearchCV(pipe, param_grid, cv=5)这个坑很常见
忘了写 model__ 前缀,sklearn 会报 “Invalid parameter”。
而且步骤名是你在 Pipeline 里自己起的,不是类名。
调参的顺序
参数之间有依赖,按这个顺序效率最高:
先定模型类型(线性 / 树 / 集成)——这个影响最大
再调控制复杂度的那一个(树的 max_depth、SVM 的 C、GBDT 的 n_estimators)
然后调正则(L2 系数、min_samples_leaf)
最后调细节(learning_rate、subsample 之类)
先粗后细
第一轮用很大的范围(比如 max_depth 试 1、5、20、100),看哪个区间好。
第二轮在那个区间附近细化。这比一开始就用精细网格省很多时间。
交叉验证的折数
常用 5 折或 10 折。折越多,评估越稳,但训练次数也越多(5 折 = 5 次训练)。
配合网格搜索时,总训练次数 = 组合数 × 折数。100 组 × 5 折 = 500 次训练。
别在测试集上调参
如果你用测试集挑超参,测试集就变成了验证集,你最后的“测试分数”不再是无偏估计。
正确做法:训练 / 验证 / 测试三分,或者用嵌套交叉验证。
第 5 章讲过这件事,这里是最容易犯的地方——因为调参时你会反复看分数,很容易顺手看测试集。
这一课解决了什么
超参搜索的核心是“用有限预算覆盖大空间”,随机搜索性价比最高。
到这里工程部分讲完了。最后一章回答一个更根本的问题:为什么还要学神经网络?
下一课
习题