堆叠起来

多层结构

把上一课的神经元排成层,一层接一层:

  1. 输入层:原始特征

  2. 隐藏层 1:每个神经元看全部输入,输出一组新值

  3. 隐藏层 2:每个神经元看上一层的全部输出,再输出一组新值

  4. 输出层:给出最终预测

每一层的输出,就是下一层的输入特征。

这就是“表示学习”

第一层的输出可以看成“模型自己造出来的一组新特征”。

第二层又在这个基础上再造一组更抽象的特征。

到最后一层,它手里的特征已经不是原始像素,而是“这里有个边缘”“这里有个圆形”“这里像一只耳朵”。

为什么在图像上特别有效

假设识别猫。人设计特征是极难的——“有两只耳朵”?折耳猫呢?背影呢?

但神经网络可以这样一层层搭上去:

层

学到的东西

第 1 层

边缘、明暗交界

第 2 层

角、弧、简单纹理

第 3 层

眼睛、耳朵、爪子

更深

整只猫

这些层级没有一条是人规定的。全部由梯度下降自动学出来。

这是深度学习最反直觉的地方

人想不出来的特征,模型自己找到了。而且找到的往往和人直觉一致(先边缘后部件)—— 但不是因为人教它,是因为这样最有效。

代价

三层结构带来了三个新问题,每一个都催生了一整套技术:

问题

为什么

解法(深度学习会讲)

梯度怎么算

层数一多,链式法则要穿过几十层

反向传播

参数爆炸

每个神经元连所有输入,参数是乘积

卷积、参数共享

过拟合

参数几十万,样本可能只有几千

Dropout、数据增强、早停

那前面 15 章白学了吗

没有,三个理由:

  1. 词汇全部复用。损失函数、梯度下降、过拟合、正则化、交叉验证、评估指标——这些概念一个都没变,只是用在更复杂的模型上。

  2. 神经网络的一个神经元就是逻辑回归。你已经学过它的全部。

  3. 表格数据上,前面的模型仍然更强。随机森林和 GBDT 没有过时。

最后一句

深度学习不是一个全新的学科,它是把前面那些零件堆得很高。

你缺的不是新概念,是把旧概念组合起来的能力。而那正是深度学习要练的。

机器学习结束

16 章走完。你现在知道:怎么从数据里找规律(线性/树/集成/核)、怎么判断找得对不对(评估)、 怎么别自欺欺人(正则化/泄漏)、以及为什么需要更深的模型。

深度学习从 PyTorch 开始,一路走到 Transformer。

下一课

习题