机器学习›第 12 章 SVM 与核方法›最大间隔
最大间隔
能分开的线不止一条
两类点能分开时,中间的线有无数条。凭什么选某一条?

直觉上该选离两边都最远的那条。因为新样本会落在边界附近,线贴在某一类上,稍微偏一点就分错了。
这个直觉就是支持向量机的全部出发点。
怎么定义“最远”
点到直线的距离公式你已经见过(第 4 章)。所有样本到这个线的距离里,最小的那个叫间隔。
SVM 的目标:让这个最小值尽量大。
一个技术处理
缩放 和 不改变直线的位置,但会改变上面那个式子的值。
所以约定:把离直线最近的那些点规范化到距离恰好为 1。于是“最大化间隔”变成“最小化 ”, 是一个干净的优化问题。
支持向量
注意一件事:决定这条线的,只有压在虚线边上的那几个点。
我在这份数据上训练了一下:40 个样本,支持向量只有 3 个。
剩下 37 个点随便怎么移动——只要不越过虚线——线一点都不会变。
这是 SVM 最特别的地方
逻辑回归里每个样本都会影响结果(都在损失函数里)。SVM 里大部分样本完全不起作用。
好处:模型只由少数关键样本决定,对异常值不敏感(只要它没落在间隔带里)。
坏处:如果那几个支持向量本身是标错的样本,整条线就被带偏了。
和逻辑回归的关系
两者的目标其实很像:都想要一条“两边都留出余量”的线。差别在于怎么惩罚:
逻辑回归 | SVM | |
|---|---|---|
惩罚 | 所有样本都参与,越界越远惩罚越大 | 只惩罚落在间隔带内的样本 |
输出 | 概率 | 只有类别(要概率得额外校准) |
受哪些样本影响 | 全部 | 只有支持向量 |
上面说的是“硬间隔”
刚才的推导假设数据完全线性可分——存在一条线把所有点都分对且留出间隔。
真实数据几乎不可能。有重叠怎么办?下一课讲软间隔,那才是实际用的版本。