习题

四道题:推形状、算参数、换激活函数做对照、辨真假。

一、推形状

把 LeNet 的输入换成 32×32,其余一层不动。 填表:

层

配置

输出形状

拉平后

C1

Conv2d(1, 6, 5, padding=2)

S2

AvgPool2d(2, 2)

C3

Conv2d(6, 16, 5)

S4

AvgPool2d(2, 2)

Flatten

—

答完再想一个问题:Linear(16*5*5, 120) 这一行还能直接用吗?如果不能,该改成多少?

import torch import torch.nn as nn layers = nn.Sequential( nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(), nn.AvgPool2d(kernel_size=2, stride=2), nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(), nn.AvgPool2d(kernel_size=2, stride=2), nn.Flatten(), ) x = torch.randn(1, 1, 32, 32) for layer in layers: x = layer(x) print(f"{layer.__class__.__name__:<12} {tuple(x.shape)}")

二、算参数

还是上一题的 32×32 版本,把参数全算出来:

层

权重

偏置

合计

Conv2d(1, 6, 5, padding=2)

Conv2d(6, 16, 5)

Linear(?, 120)

Linear(120, 84)

Linear(84, 10)

合计

注意 padding 不改变参数量

padding=2 只在输入外面补 0, 卷积核还是 5×5,参数一个不多。

它的作用只是让输出尺寸从 28 变成 32。

三、换激活函数做对照

下面两个网络只有激活函数和池化方式不同, 其余完全一样。各训 3 轮,填表:

import torch.nn as nn def make_net(modern=False): act = nn.ReLU if modern else nn.Sigmoid pool = nn.MaxPool2d if modern else nn.AvgPool2d return nn.Sequential( nn.Conv2d(1, 6, kernel_size=5, padding=2), act(), pool(kernel_size=2, stride=2), nn.Conv2d(6, 16, kernel_size=5), act(), pool(kernel_size=2, stride=2), nn.Flatten(), nn.Linear(16 * 5 * 5, 120), act(), nn.Linear(120, 84), act(), nn.Linear(84, 10), ) print("原版参数", sum(p.numel() for p in make_net(False).parameters())) print("现代参数", sum(p.numel() for p in make_net(True).parameters()))

版本

参数量

3 轮后测试

每轮耗时

sigmoid + 平均池化

ReLU + 最大池化

想一想

#

问题

1

两个版本的参数量一样吗?为什么?

2

差了多少个百分点?

3

用上一课学的「sigmoid 导数最大 0.25」解释这个差距

四、辨真假

#

说法

对 / 错 + 理由

1

LeNet 是第一个卷积神经网络

2

LeNet 用 ReLU 是因为当年只有 ReLU

3

padding 会增加参数量

4

参数少的网络一定跑得快

5

Flatten 之后就不能再用卷积了

参考答案

一、推形状(32×32 输入)

层

输出

怎么算

C1

6@32×32

32 + 4 − 5 + 1

S2

6@16×16

32 ÷ 2

C3

16@12×12

16 − 5 + 1

S4

16@6×6

12 ÷ 2

Flatten

576

16 × 6 × 6

不能直接用 Linear(400, 120)。 要改成 Linear(576, 120)。

报错是:mat1 and mat2 shapes cannot be multiplied (128x576 and 400x120)。

576 = 16×6×6,400 = 16×5×5。差在第二次卷积之后。

二、算参数(32×32 版本)

层

权重

偏置

合计

Conv2d(1,6,5,p=2)

6×1×25 = 150

6

156

Conv2d(6,16,5)

16×6×25 = 2,400

16

2,416

Linear(576,120)

576×120 = 69,120

120

69,240

Linear(120,84)

10,080

84

10,164

Linear(84,10)

840

10

850

合计

82,826

比 28×28 版本多了 21,120 个参数 (82,826 − 61,706)。

全在 Linear(576,120) 那一层: 576×120 − 400×120 = 69,120 − 48,000 = 21,120。

输入边长从 28 涨到 32,拉平后 400 → 576, 全连接第一层就跟着涨。

三、换激活函数

版本

参数

3 轮测试

每轮

sigmoid + 平均池化

61,706

94.42%

30s

ReLU + 最大池化

61,706

98.31%

25s

三问的答案:

#

答案

1

完全一样。激活函数和池化方式都不带参数—— sigmoid/ReLU 是逐元素函数,AvgPool/MaxPool 只做比较或平均

2

3.89 个百分点(94.42% → 98.31%)

3

sigmoid 的导数最大 0.25,ReLU 是 1。 三层 sigmoid 连乘 0.25³ = 0.0156, ReLU 是 1。梯度差 64 倍,所以 sigmoid 学得慢

四、辨真假

#

答案

理由

1

错

LeNet 是「第一个成功训练并大规模应用」的, 卷积的想法在 1980 年代就有了

2

错

正好相反:用 sigmoid 是因为当年还没有 ReLU。 原文说「虽然 ReLU 和最大汇聚层更有效,但它们在 90 年代还没有出现」

3

错

padding 只补 0,卷积核大小不变,参数不变

4

错

卷积的每个参数要在图上扫几百次, 参数少省的是显存不是时间

5

对

拉平之后空间结构没了,只能接全连接。 要用卷积必须保持四维形状

下一章

LeNet 是 1989 年的东西。下一章看 2012 年的 AlexNet—— 结构几乎一样,但深了 3 倍,而且用上了 GPU。

那一年的比赛里,它的错误率比第二名低了 10.9 个百分点。