习题
题目
第一题 40 个样本训练线性 SVM,只有 3 个支持向量。如果把剩下 37 个点里最远的一个删掉,决策边界会不会变?为什么?
第二题 C 从 1 调到 0.01,支持向量从 3 个变成 26 个。解释这个变化。
第三题 用 RBF 核时,gamma 从 0.2 调到 50,训练准确率从 0.88 涨到 0.995。这个模型变好了吗?
第四题 为什么核方法在样本量很大时会出问题?具体瓶颈在哪一步?
第五题 一个数据集有 10000 个样本、500 个特征。你会选线性核还是 RBF 核?给出理由。
提示
第一题想“支持向量”这个词的字面意思。
第三题问的是“变好了吗”,不是“准确率变高了吗”。
第五题要考虑两件事:样本量和特征维度。
答案
第一题
不会变。
决策边界只由支持向量决定——它们在间隔带的边界上,约束着 的方向和大小。 其他点离边界更远,只要不越过虚线,改它们对解没有任何影响。
但这有个前提
这个结论只在软间隔参数 C 很大(接近硬间隔)时严格成立。
C 小时,惩罚项让每个点都对目标函数有贡献,虽然贡献很小,但删掉一个点理论上仍可能有微调。
第二题
C 控制“违规的代价”。C 小意味着违规便宜。
于是优化器愿意接受一个更宽的间隔带,即使这会让更多点落进带子里。
落进带子里的点就是支持向量(它们对 有约束)。所以带子变宽 → 落进去的点变多 → 支持向量从 3 涨到 26。
训练准确率没变,说明这些点最终仍被分对了,只是“余量”变少了。
第三题
没有。很可能变差了。
gamma 50 意味着每个样本的影响半径极小。决策边界会变成一个个围绕着训练样本的小岛。
训练准确率 0.995 说明它几乎把每个训练点都圈进了自己的岛里——这就是记住训练集。
新样本落在岛上还是岛外,基本是随机的。要看真实表现,必须在没参与训练的验证集上测。
这个陷阱每章都出现
第 6 章在多项式回归上、第 10 章在树的深度上、这里在 gamma 上——同一个故事。
判断模型好坏永远看验证集,不看训练集。
第四题
瓶颈在核矩阵。
SVM 的求解需要计算每两个样本之间的核值,构成一个 的矩阵。
时间: 次核计算,求解本身还要 左右
空间: 个数。一万样本 = 1 亿,约 800 MB
十万样本就是 800 亿个数——任何机器都放不下。
线性核可以绕开(用对偶以外的方法),但那就是普通线性分类器了,失去了核方法的优势。
第五题
大概率选线性核。
三个理由:
特征已经够多。500 维空间里,数据往往已经线性可分了——升到更高维没多少额外收益。 维度高的时候,“线性”本身就已经很强。
样本量对 RBF 不友好。10000 个样本的核矩阵是 1 亿个数,训练会很慢。 线性核有专门的快速实现。
RBF 要调两个参数(C 和 gamma),线性核基本只调 C。500 维上做网格搜索代价很高。
经验规则
特征数 ≫ 样本数 → 线性核。样本数 ≫ 特征数 → RBF 核。
直觉是:特征多的时候,高维空间已经够“宽敞”了;样本多的时候,需要更强的非线性能力才能利用这些数据。
一句话总结
概念 | 内容 |
|---|---|
最大间隔 | 选离两边都最远的线,只由支持向量决定 |
软间隔 C | 允许违规,C 大 = 严格 = 易过拟合(和 λ 相反) |
核技巧 | 不真的升维,直接算高维内积 |
RBF 核 gamma | 影响半径,越大越容易过拟合 |
瓶颈 | 核矩阵 n×n,样本量大就爆 |
下一章 | 没有标签的时候怎么学 |