堆叠起来
多层结构
把上一课的神经元排成层,一层接一层:
输入层:原始特征
隐藏层 1:每个神经元看全部输入,输出一组新值
隐藏层 2:每个神经元看上一层的全部输出,再输出一组新值
输出层:给出最终预测
每一层的输出,就是下一层的输入特征。
这就是“表示学习”
第一层的输出可以看成“模型自己造出来的一组新特征”。
第二层又在这个基础上再造一组更抽象的特征。
到最后一层,它手里的特征已经不是原始像素,而是“这里有个边缘”“这里有个圆形”“这里像一只耳朵”。
为什么在图像上特别有效
假设识别猫。人设计特征是极难的——“有两只耳朵”?折耳猫呢?背影呢?
但神经网络可以这样一层层搭上去:
层 | 学到的东西 |
|---|---|
第 1 层 | 边缘、明暗交界 |
第 2 层 | 角、弧、简单纹理 |
第 3 层 | 眼睛、耳朵、爪子 |
更深 | 整只猫 |
这些层级没有一条是人规定的。全部由梯度下降自动学出来。
这是深度学习最反直觉的地方
人想不出来的特征,模型自己找到了。而且找到的往往和人直觉一致(先边缘后部件)—— 但不是因为人教它,是因为这样最有效。
代价
三层结构带来了三个新问题,每一个都催生了一整套技术:
问题 | 为什么 | 解法(深度学习会讲) |
|---|---|---|
梯度怎么算 | 层数一多,链式法则要穿过几十层 | 反向传播 |
参数爆炸 | 每个神经元连所有输入,参数是乘积 | 卷积、参数共享 |
过拟合 | 参数几十万,样本可能只有几千 | Dropout、数据增强、早停 |
那前面 15 章白学了吗
没有,三个理由:
词汇全部复用。损失函数、梯度下降、过拟合、正则化、交叉验证、评估指标——这些概念一个都没变,只是用在更复杂的模型上。
神经网络的一个神经元就是逻辑回归。你已经学过它的全部。
表格数据上,前面的模型仍然更强。随机森林和 GBDT 没有过时。
最后一句
深度学习不是一个全新的学科,它是把前面那些零件堆得很高。
你缺的不是新概念,是把旧概念组合起来的能力。而那正是深度学习要练的。
机器学习结束
16 章走完。你现在知道:怎么从数据里找规律(线性/树/集成/核)、怎么判断找得对不对(评估)、 怎么别自欺欺人(正则化/泄漏)、以及为什么需要更深的模型。
深度学习从 PyTorch 开始,一路走到 Transformer。
下一课
习题