RBF 核与 gamma

它衡量的是“多远”

K(xi,xj)=exp⁡(−γ∥xi−xj∥2)K(x_i, x_j) = \exp(-\gamma \|x_i - x_j\|^2)

读法:

  • 两个点重合:距离 0,K=1K = 1

  • 两个点离得很远:K→0K \to 0

所以 RBF 核本质上是相似度:越近越像。它把“每个训练样本”当成一个中心,新样本的预测由它和各个中心的相似度加权决定。

gamma 控制“多近才算近”

γ\gamma 小:衰减慢,远处也还有影响,边界平滑。

γ\gamma 大:衰减快,只有很近的点才有影响,边界围着每个样本打转。

同一份双月牙数据,gamma 从 0.2 到 8

实测训练准确率:

gamma

训练准确率

支持向量

0.05

0.845

—

0.2

0.880

76

1.0

0.960

—

8.0

0.970

70

50

0.995

—

训练准确率一路涨,这是陷阱

gamma 越大,训练准确率越高。到 50 时几乎完美。

但看第二张图——边界变成了一个个围着样本的小圈。这种模型对任何新样本都只能说“它离我见过的某个点很远”,泛化能力极差。

训练准确率高 ≠ 模型好。这和第 6 章的过拟合是同一件事,只是换个模型又出现一次。

C 和 gamma 一起调

两个参数的作用容易混,记住这个区分:

参数

控制什么

调大

C

允许多少违规

更严格,更容易过拟合

gamma

单个样本的影响半径

半径更小,边界更弯,更容易过拟合

两个都往大调 → 双重过拟合。两个都往小调 → 双重欠拟合。

实践中用网格搜索:C 取 0.01 到 1000 的对数刻度,gamma 同样,两两组合试。

SVM 现在还用吗

用得比十年前少很多,但有三个场景仍然是首选:

  • 样本量不大(几千到几万)、特征维度高:比如基因数据、文本分类。这时候神经网络反而不如它

  • 需要确定的决策边界:SVM 有理论保证的最优间隔,不像神经网络那样难解释

  • 二分类且类别边界清晰:它就是为这个设计的

但核方法的思想留下来了

“把数据隐式映射到高维、在那里做线性方法”这个想法,后来的影响远超 SVM 本身。

神经网络可以看成是自己学一个映射,而不是用固定的核。第 16 章会回到这个对照。

这一课解决了什么

SVM 的全部零件齐了:最大间隔、软间隔 C、核函数、RBF 的 gamma。

到这里,监督学习的主流模型讲完了:线性、树、集成、SVM。下一章换一个完全不同的设定——没有标签。