RBF 核与 gamma
它衡量的是“多远”
读法:
两个点重合:距离 0,
两个点离得很远:
所以 RBF 核本质上是相似度:越近越像。它把“每个训练样本”当成一个中心,新样本的预测由它和各个中心的相似度加权决定。
gamma 控制“多近才算近”
小:衰减慢,远处也还有影响,边界平滑。
大:衰减快,只有很近的点才有影响,边界围着每个样本打转。

实测训练准确率:
gamma | 训练准确率 | 支持向量 |
|---|---|---|
0.05 | 0.845 | — |
0.2 | 0.880 | 76 |
1.0 | 0.960 | — |
8.0 | 0.970 | 70 |
50 | 0.995 | — |
训练准确率一路涨,这是陷阱
gamma 越大,训练准确率越高。到 50 时几乎完美。
但看第二张图——边界变成了一个个围着样本的小圈。这种模型对任何新样本都只能说“它离我见过的某个点很远”,泛化能力极差。
训练准确率高 ≠ 模型好。这和第 6 章的过拟合是同一件事,只是换个模型又出现一次。
C 和 gamma 一起调
两个参数的作用容易混,记住这个区分:
参数 | 控制什么 | 调大 |
|---|---|---|
| 允许多少违规 | 更严格,更容易过拟合 |
| 单个样本的影响半径 | 半径更小,边界更弯,更容易过拟合 |
两个都往大调 → 双重过拟合。两个都往小调 → 双重欠拟合。
实践中用网格搜索:C 取 0.01 到 1000 的对数刻度,gamma 同样,两两组合试。
SVM 现在还用吗
用得比十年前少很多,但有三个场景仍然是首选:
样本量不大(几千到几万)、特征维度高:比如基因数据、文本分类。这时候神经网络反而不如它
需要确定的决策边界:SVM 有理论保证的最优间隔,不像神经网络那样难解释
二分类且类别边界清晰:它就是为这个设计的
但核方法的思想留下来了
“把数据隐式映射到高维、在那里做线性方法”这个想法,后来的影响远超 SVM 本身。
神经网络可以看成是自己学一个映射,而不是用固定的核。第 16 章会回到这个对照。
这一课解决了什么
SVM 的全部零件齐了:最大间隔、软间隔 C、核函数、RBF 的 gamma。
到这里,监督学习的主流模型讲完了:线性、树、集成、SVM。下一章换一个完全不同的设定——没有标签。