LeNet:第一个真正跑起来的卷积网络

这一课在哪

前面三章把零件讲完了:卷积怎么算(第 26 章)、 步长填充池化怎么调(第 27 章)。

现在第一次把它们串成一个完整的网络。

之前

这一课

下一课

卷积、池化各自怎么算

怎么排成一条链

敲成代码、训练

1989 年那件事

Yann LeCun,AT&T 贝尔实验室。他做了一个网络,用来认手写数字, 给它起名叫 LeNet。

这件事的分量不在于「第一个卷积网络」,而在于: 它是第一篇用反向传播成功训练出来的卷积网络。

问题

他解决了什么

卷积层能提特征——这在 1980 年代就知道了

但怎么训练?权重从哪来?

反向传播——1986 年就有了

但没人把它成功接到卷积层上

LeNet

把这两件事接起来了

当年它的性能和支持向量机(SVM)相当, 而 SVM 是那个年代的主流方法。

它不只是论文里的东西

LeNet 被装进了自动取款机,用来识别支票上的数字。

一个很难忘的事实

1990 年代写的那些代码,有一些自动取款机今天还在跑。

你手上的手机比它快几万倍,但那个网络结构还在某个地方认支票号码。

这是这一章值得认真看的原因——它不是一个过时的练习,是一个活着的系统。

除了支票,它还读过邮编和别的数字串。

它分成两半

整张网络只有两部分,这个分法一直用到今天:

部分

干什么

由什么组成

卷积编码器

把图变成「这里有没有某种图案」

2 个卷积层

全连接密集块

拿这些图案判类别

3 个全连接层

记住这个分法

编码器负责「看懂」,分类头负责「下结论」。

后面 AlexNet、VGG、ResNet 全是这个结构,只是编码器越来越长。

看到任何 CNN,先找这条分界线——它通常在「拉平」那一步。

形状怎么变

每一叠方块是一层的全部通道。方块越大说明图越大,叠得越厚说明通道越多

从 28×28 的灰度图到 10 个数,一共七层:

层

操作

输出形状

边长怎么算

C1

5×5 卷积,6 个核,padding=2

6@28×28

28 + 4 − 5 + 1

S2

2×2 平均池化,步长 2

6@14×14

28 ÷ 2

C3

5×5 卷积,16 个核,不补边

16@10×10

14 − 5 + 1

S4

2×2 平均池化,步长 2

16@5×5

10 ÷ 2

F5

拉平后全连接

120

16×5×5 = 400

F6

全连接

84

—

F7

全连接

10

—

为什么第一个卷积要补 2 圈

这是整张图最容易被忽略的一处设计。

5×5 的卷积核扫一遍,会让边长少 4。如果第一层就不补边, 28 直接变 24——图一开始就掉了一大块。

做法

第一层输出

一路走完

拉平后

不补边

6@24×24

24 → 12 → 8 → 4

16×4×4 = 256

补 2 圈

6@28×28

28 → 14 → 10 → 5

16×5×5 = 400

所以 LeNet 的 padding=2 不是随手写的—— 它把第一层的尺寸保住了,让后面的链条刚好落到 5×5。

只有第一层补,第二层不补

第一层 padding=2,第二层没有 padding。

为什么?因为第一层要保住尺寸; 第二层要主动缩小——14 变 10,正好够接池化。

补边不是「越多越好」,是按需。

为什么用 sigmoid 和平均池化

你可能会问:现在不是都用 ReLU 和最大池化吗?

因为 1989 年还没有

LeNet 用的是 sigmoid 激活和平均池化。

不是他觉得这两个更好——是 ReLU 和最大池化那时候还没被提出来。

后来大家发现 ReLU 和最大池化更有效,所以现代网络全换了。 但结构本身没变。

两个激活函数的差别

import torch x = torch.tensor([-2.0, -1.0, 0.0, 1.0, 2.0]) print(torch.sigmoid(x)) # tensor([0.1192, 0.2689, 0.5000, 0.7311, 0.8808]) 永远在 (0,1) print(torch.relu(x)) # tensor([0., 0., 0., 1., 2.]) 负数直接归零

sigmoid

ReLU

输出范围

(0, 1)

[0, +∞)

输入 -2 时

0.119(还有输出)

0(完全关掉)

梯度最大

0.25

1

深层会不会消失

会,连乘 0.25

好很多

梯度最大 0.25 这一条,就是第 34 章 LSTM 要解决的那个问题的源头之一。

数参数

七层一共多少个参数?

import torch.nn as nn def count(layer): return sum(p.numel() for p in layer.parameters()) layers = [ ("C1 conv 1→6, 5×5", nn.Conv2d(1, 6, 5, padding=2)), ("C3 conv 6→16, 5×5", nn.Conv2d(6, 16, 5)), ("F5 fc 400→120", nn.Linear(400, 120)), ("F6 fc 120→84", nn.Linear(120, 84)), ("F7 fc 84→10", nn.Linear(84, 10)), ] total = 0 for name, layer in layers: n = count(layer) total += n print(f"{name:<22} {n:>7,}") print(f"{'合计':<22} {total:>7,}")
C1 conv 1→6, 5×5 156 C3 conv 6→16, 5×5 2,416 F5 fc 400→120 48,120 F6 fc 120→84 10,164 F7 fc 84→10 850 合计 61,706

参数都堆在哪

部分

参数

占比

卷积编码器(C1+C3)

2,572

4.2%

全连接分类头(F5+F6+F7)

59,134

95.8%

这个比例会一直跟着你

卷积层提特征,但几乎不花参数;全连接层做分类,却吃掉了 96%。

后面三章你会看到这个数字反复出现:VGG 是 93%,AlexNet 是 96%。

第 30 章 NiN 就是专门来砍这一块的。

为什么卷积这么省?因为权重共享—— 5×5=25 个权重扫全图,不管图多大都是这 25 个。

为什么全连接这么费?因为 400 × 120 = 48000, 每一个连接一个独立权重。

这一课留下的四个数

数

值

含义

1989

—

LeCun 在贝尔实验室做出来

28 → 5

—

空间尺寸缩了 5.6 倍

1 → 16

—

通道涨了 16 倍

16×5×5

400

拉平后的长度

参数

61,706

96% 在分类头

下一课

结构看懂了。下一课敲成代码跑一遍—— 用 d2l 这个版本(28×28 输入 + conv1 补 2 圈),训三轮看准确率。