最大间隔

能分开的线不止一条

两类点能分开时,中间的线有无数条。凭什么选某一条?

实线是分界线,两条虚线之间的带子就是间隔

直觉上该选离两边都最远的那条。因为新样本会落在边界附近,线贴在某一类上,稍微偏一点就分错了。

这个直觉就是支持向量机的全部出发点。

怎么定义“最远”

点到直线的距离公式你已经见过(第 4 章)。所有样本到这个线的距离里,最小的那个叫间隔。

间隔=min⁡i∣w⊤xi+b∣∥w∥\text{间隔} = \min_i \frac{|w^{\top}x_i + b|}{\|w\|}

SVM 的目标:让这个最小值尽量大。

一个技术处理

缩放 ww 和 bb 不改变直线的位置,但会改变上面那个式子的值。

所以约定:把离直线最近的那些点规范化到距离恰好为 1。于是“最大化间隔”变成“最小化 ∥w∥2\|w\|^2”, 是一个干净的优化问题。

支持向量

注意一件事:决定这条线的,只有压在虚线边上的那几个点。

我在这份数据上训练了一下:40 个样本,支持向量只有 3 个。

剩下 37 个点随便怎么移动——只要不越过虚线——线一点都不会变。

这是 SVM 最特别的地方

逻辑回归里每个样本都会影响结果(都在损失函数里)。SVM 里大部分样本完全不起作用。

好处:模型只由少数关键样本决定,对异常值不敏感(只要它没落在间隔带里)。

坏处:如果那几个支持向量本身是标错的样本,整条线就被带偏了。

和逻辑回归的关系

两者的目标其实很像:都想要一条“两边都留出余量”的线。差别在于怎么惩罚:

逻辑回归

SVM

惩罚

所有样本都参与,越界越远惩罚越大

只惩罚落在间隔带内的样本

输出

概率

只有类别(要概率得额外校准)

受哪些样本影响

全部

只有支持向量

上面说的是“硬间隔”

刚才的推导假设数据完全线性可分——存在一条线把所有点都分对且留出间隔。

真实数据几乎不可能。有重叠怎么办?下一课讲软间隔,那才是实际用的版本。