共同的天花板

回头看这 15 章

我们学了四种模型:

  • 线性模型(回归、逻辑回归)

  • 决策树

  • 集成(随机森林、GBDT)

  • SVM

它们看起来差别很大,但有一个共同的限制。

限制:特征是人给的

这四种模型都在做同一件事:在给定的特征空间里找一个映射。

模型

怎么用特征

线性

加权求和

树

比较阈值后切分

集成

很多个上面两种的组合

SVM

隐式映射到高维再线性组合

关键点:“面积”“楼层”“颜色”这些特征本身,是你在建模之前定好的。 模型只决定怎么组合它们,不决定“该不该有面积这个特征”。

这句话的含义

如果真正的规律需要的信息不在特征里,这些模型全都学不到。

而人在设计特征时,靠的是领域知识——而领域知识是有限的、有偏的、要花大量时间。

一个具体的例子:识别手写数字

一张 28×28 的图片,784 个像素值。要判断它是 0-9 里的哪个。

用前面学的模型,你得先设计特征:

  • 有几条闭合曲线?

  • 笔画的平均粗细?

  • 上下对称度?

这些特征每一条都要人想、人写代码、人验证。而且换个任务(从数字换到字母),全部重来。

这就是“特征工程”的真实成本

第 15 章说“特征比模型重要”。这句话的另一面是:特征工程是瓶颈。

一个团队可能花 80% 的时间在构造特征上,只有 20% 在选模型和调参。

有没有办法让模型自己学特征

这正是接下来要讲的事。

先想一个更简单的问题:能不能把“特征提取”本身也变成一个可训练的东西?

也就是:不告诉模型“这是面积、这是楼层”,只给它原始数据,让它自己找出一组中间表示,再用这组表示做预测。

这听起来很抽象

下一课用一个具体的小例子说明:什么样的结构能让模型“学出特征”。

然后再看它为什么就是神经网络。

这一课解决了什么

前 15 章的所有模型都建立在“人给的特征”之上。这是共同的天花板。

要突破它,得让模型自己构造中间表示。