机器学习›第 16 章 从 ML 到神经网络›共同的天花板
共同的天花板
回头看这 15 章
我们学了四种模型:
线性模型(回归、逻辑回归)
决策树
集成(随机森林、GBDT)
SVM
它们看起来差别很大,但有一个共同的限制。
限制:特征是人给的
这四种模型都在做同一件事:在给定的特征空间里找一个映射。
模型 | 怎么用特征 |
|---|---|
线性 | 加权求和 |
树 | 比较阈值后切分 |
集成 | 很多个上面两种的组合 |
SVM | 隐式映射到高维再线性组合 |
关键点:“面积”“楼层”“颜色”这些特征本身,是你在建模之前定好的。 模型只决定怎么组合它们,不决定“该不该有面积这个特征”。
这句话的含义
如果真正的规律需要的信息不在特征里,这些模型全都学不到。
而人在设计特征时,靠的是领域知识——而领域知识是有限的、有偏的、要花大量时间。
一个具体的例子:识别手写数字
一张 28×28 的图片,784 个像素值。要判断它是 0-9 里的哪个。
用前面学的模型,你得先设计特征:
有几条闭合曲线?
笔画的平均粗细?
上下对称度?
这些特征每一条都要人想、人写代码、人验证。而且换个任务(从数字换到字母),全部重来。
这就是“特征工程”的真实成本
第 15 章说“特征比模型重要”。这句话的另一面是:特征工程是瓶颈。
一个团队可能花 80% 的时间在构造特征上,只有 20% 在选模型和调参。
有没有办法让模型自己学特征
这正是接下来要讲的事。
先想一个更简单的问题:能不能把“特征提取”本身也变成一个可训练的东西?
也就是:不告诉模型“这是面积、这是楼层”,只给它原始数据,让它自己找出一组中间表示,再用这组表示做预测。
这听起来很抽象
下一课用一个具体的小例子说明:什么样的结构能让模型“学出特征”。
然后再看它为什么就是神经网络。
这一课解决了什么
前 15 章的所有模型都建立在“人给的特征”之上。这是共同的天花板。
要突破它,得让模型自己构造中间表示。