习题

题目

第一题 40 个样本训练线性 SVM,只有 3 个支持向量。如果把剩下 37 个点里最远的一个删掉,决策边界会不会变?为什么?

第二题 C 从 1 调到 0.01,支持向量从 3 个变成 26 个。解释这个变化。

第三题 用 RBF 核时,gamma 从 0.2 调到 50,训练准确率从 0.88 涨到 0.995。这个模型变好了吗?

第四题 为什么核方法在样本量很大时会出问题?具体瓶颈在哪一步?

第五题 一个数据集有 10000 个样本、500 个特征。你会选线性核还是 RBF 核?给出理由。

提示

第一题想“支持向量”这个词的字面意思。

第三题问的是“变好了吗”,不是“准确率变高了吗”。

第五题要考虑两件事:样本量和特征维度。


答案

第一题

不会变。

决策边界只由支持向量决定——它们在间隔带的边界上,约束着 ww 的方向和大小。 其他点离边界更远,只要不越过虚线,改它们对解没有任何影响。

但这有个前提

这个结论只在软间隔参数 C 很大(接近硬间隔)时严格成立。

C 小时,惩罚项让每个点都对目标函数有贡献,虽然贡献很小,但删掉一个点理论上仍可能有微调。

第二题

C 控制“违规的代价”。C 小意味着违规便宜。

于是优化器愿意接受一个更宽的间隔带,即使这会让更多点落进带子里。

落进带子里的点就是支持向量(它们对 ww 有约束)。所以带子变宽 → 落进去的点变多 → 支持向量从 3 涨到 26。

训练准确率没变,说明这些点最终仍被分对了,只是“余量”变少了。

第三题

没有。很可能变差了。

gamma 50 意味着每个样本的影响半径极小。决策边界会变成一个个围绕着训练样本的小岛。

训练准确率 0.995 说明它几乎把每个训练点都圈进了自己的岛里——这就是记住训练集。

新样本落在岛上还是岛外,基本是随机的。要看真实表现,必须在没参与训练的验证集上测。

这个陷阱每章都出现

第 6 章在多项式回归上、第 10 章在树的深度上、这里在 gamma 上——同一个故事。

判断模型好坏永远看验证集,不看训练集。

第四题

瓶颈在核矩阵。

SVM 的求解需要计算每两个样本之间的核值,构成一个 n×nn \times n 的矩阵。

  • 时间:O(n2)O(n^2) 次核计算,求解本身还要 O(n3)O(n^3) 左右

  • 空间:n×nn \times n 个数。一万样本 = 1 亿,约 800 MB

十万样本就是 800 亿个数——任何机器都放不下。

线性核可以绕开(用对偶以外的方法),但那就是普通线性分类器了,失去了核方法的优势。

第五题

大概率选线性核。

三个理由:

  1. 特征已经够多。500 维空间里,数据往往已经线性可分了——升到更高维没多少额外收益。 维度高的时候,“线性”本身就已经很强。

  2. 样本量对 RBF 不友好。10000 个样本的核矩阵是 1 亿个数,训练会很慢。 线性核有专门的快速实现。

  3. RBF 要调两个参数(C 和 gamma),线性核基本只调 C。500 维上做网格搜索代价很高。

经验规则

特征数 ≫ 样本数 → 线性核。样本数 ≫ 特征数 → RBF 核。

直觉是:特征多的时候,高维空间已经够“宽敞”了;样本多的时候,需要更强的非线性能力才能利用这些数据。

一句话总结

概念

内容

最大间隔

选离两边都最远的线,只由支持向量决定

软间隔 C

允许违规,C 大 = 严格 = 易过拟合(和 λ 相反)

核技巧

不真的升维,直接算高维内积

RBF 核 gamma

影响半径,越大越容易过拟合

瓶颈

核矩阵 n×n,样本量大就爆

下一章

没有标签的时候怎么学