机器学习›第 12 章 SVM 与核方法›软间隔与 C
软间隔与 C
允许犯错
数据几乎不可能完全分开。硬要求“必须全分对”会导致:
找不到解(无解)
或者找到一条为了迁就个别点而扭曲得很难看的线
软间隔的做法:允许一些点进入间隔带甚至被分错,但要为此付出代价。
其中 是第 个点违规的程度(在间隔带内多少、越界多少)。
两项在打架:
:间隔要宽
:违规要少
C 是什么
控制这两项的相对权重。
C | 倾向 | 结果 |
|---|---|---|
很大 | 几乎不许违规 | 接近硬间隔,间隔窄,容易过拟合 |
很小 | 违规很便宜 | 间隔宽,容忍更多错误,可能欠拟合 |
实测同一份数据:
C | 训练准确率 | 支持向量个数 |
|---|---|---|
1000000 | 1.000 | 3 |
1 | 1.000 | 3 |
0.01 | 1.000 | 26 |
看支持向量那一列
C 从 1e6 降到 0.01,支持向量从 3 个涨到 26 个,但训练准确率一点没变(都还是 1.000)。
C 小的时候,间隔带变宽了,于是更多点落进带子里,成了支持向量。
这说明:C 改的不是“分对多少”,是“间隔有多宽”。而间隔宽度才影响泛化。
C 和正则化的关系
注意目标函数里 这一项——它就是 L2 正则,你在第 7 章见过。
只不过在那里它是“额外加上的惩罚”,在这里它是目标函数的主体,而误差项反而被 缩放。
所以 的角色和 正好相反:
大 → 正则强 → 模型简单
大 → 正则弱 → 模型复杂
这个反直觉,容易记混
sklearn 里 SVC(C=...) 的默认值是 1.0。调大 C = 更容易过拟合。
写作业或在论文里看到 C 的时候,先确认一下它的定义方向。
这一课解决了什么
软间隔让 SVM 能处理有重叠的数据,C 控制间隔宽度和容错程度的平衡。
但到这里 SVM 还只是个线性分类器——和逻辑回归没有本质区别。它真正厉害的地方在下一课。