软间隔与 C

允许犯错

数据几乎不可能完全分开。硬要求“必须全分对”会导致:

  • 找不到解(无解)

  • 或者找到一条为了迁就个别点而扭曲得很难看的线

软间隔的做法:允许一些点进入间隔带甚至被分错,但要为此付出代价。

min⁡w,b  12∥w∥2+C∑iξi\min_{w,b} \; \frac{1}{2}\|w\|^2 + C\sum_i \xi_i

其中 ξi\xi_i 是第 ii 个点违规的程度(在间隔带内多少、越界多少)。

两项在打架:

  • 12∥w∥2\frac{1}{2}\|w\|^2:间隔要宽

  • C∑ξiC\sum \xi_i:违规要少

C 是什么

CC 控制这两项的相对权重。

C

倾向

结果

很大

几乎不许违规

接近硬间隔,间隔窄,容易过拟合

很小

违规很便宜

间隔宽,容忍更多错误,可能欠拟合

实测同一份数据:

C

训练准确率

支持向量个数

1000000

1.000

3

1

1.000

3

0.01

1.000

26

看支持向量那一列

C 从 1e6 降到 0.01,支持向量从 3 个涨到 26 个,但训练准确率一点没变(都还是 1.000)。

C 小的时候,间隔带变宽了,于是更多点落进带子里,成了支持向量。

这说明:C 改的不是“分对多少”,是“间隔有多宽”。而间隔宽度才影响泛化。

C 和正则化的关系

注意目标函数里 12∥w∥2\frac{1}{2}\|w\|^2 这一项——它就是 L2 正则,你在第 7 章见过。

只不过在那里它是“额外加上的惩罚”,在这里它是目标函数的主体,而误差项反而被 CC 缩放。

所以 CC 的角色和 λ\lambda 正好相反:

  • λ\lambda 大 → 正则强 → 模型简单

  • CC 大 → 正则弱 → 模型复杂

这个反直觉,容易记混

sklearn 里 SVC(C=...) 的默认值是 1.0。调大 C = 更容易过拟合。

写作业或在论文里看到 C 的时候,先确认一下它的定义方向。

这一课解决了什么

软间隔让 SVM 能处理有重叠的数据,C 控制间隔宽度和容错程度的平衡。

但到这里 SVM 还只是个线性分类器——和逻辑回归没有本质区别。它真正厉害的地方在下一课。