习题

这一章全是算。三道题:算尺寸、推感受野、手算池化。

一、算输出尺寸

#

输入

核

pad

stride

输出

1

32

3

0

1

2

32

3

1

1

3

32

3

1

2

4

32

5

2

1

5

224

7

3

2

6

13

3

0

2

第 6 题要注意向下取整。

import torch, torch.nn as nn def size(n, k, p=0, s=1): return (n + 2*p - k) // s + 1 cases = [(32,3,0,1), (32,3,1,1), (32,3,1,2), (32,5,2,1), (224,7,3,2), (13,3,0,2)] for n, k, p, s in cases: conv = nn.Conv2d(1, 1, k, padding=p, stride=s) real = conv(torch.randn(1, 1, n, n)).shape[-1] print(f"{n:>4} 核{k} pad{p} s{s} → 公式 {size(n,k,p,s):>3} / 实际 {real:>3}")

二、推感受野

一个分类网络的骨干:

Conv 3×3 stride 1 Conv 3×3 stride 1 MaxPool 2×2 Conv 3×3 stride 1 MaxPool 2×2 Conv 3×3 stride 1

层

感受野

jump

Conv1

Conv2

Pool1

Conv3

Pool2

Conv4

layers = [("conv1",3,1), ("conv2",3,1), ("pool1",2,2), ("conv3",3,1), ("pool2",2,2), ("conv4",3,1)] rf, jump = 1, 1 for name, k, s in layers: rf += (k - 1) * jump jump *= s print(f"{name:>6} k={k} s={s} → RF={rf:>3} jump={jump}")

第三道题

如果把 Conv2 和 Conv3 换成一个 5×5 的卷积, 感受野会变吗?参数量会变吗?(假设输入输出都是 C 通道。)

三、手算池化

给定 6×6 的输入:

 1 3 2 4 0 1 5 6 7 8 9 2 9 2 1 0 3 4 3 1 5 3 2 1 7 8 6 5 4 0 0 2 3 1 9 8

操作

输出尺寸

结果

MaxPool2d(2)

AvgPool2d(2)

MaxPool2d(3)

import torch, torch.nn as nn x = torch.tensor([[[[1.,3,2,4,0,1], [5,6,7,8,9,2], [9,2,1,0,3,4], [3,1,5,3,2,1], [7,8,6,5,4,0], [0,2,3,1,9,8]]]]) print(nn.MaxPool2d(2)(x)) print(nn.AvgPool2d(2)(x)) print(nn.MaxPool2d(3)(x))

四、思考题

#

问题

1

想让 224×224 的图经过一层卷积后变成 56×56,核 3×3、padding 1,stride 该设多少?

2

一个网络全部用 padding=0 的 3×3 卷积,没有池化。输入 64×64,卷 5 层之后剩多大?还能再卷几层?

3

为什么 padding 通常取 (kernel-1)/2,而不是随便取?

4

池化没有参数,那它到底算不算“一层”?它在反向传播时怎么求梯度?

5

用全局平均池化代替“拉平 + 全连接”,除了参数少,还有什么好处?举一个实际场景。

参考答案

一、输出尺寸

#

计算

输出

1

(32−3)/1+1

30

2

(32+2−3)/1+1

32

3

(32+2−3)/2+1

16

4

(32+4−5)/1+1

32

5

(224+6−7)/2+1

112

6

⌊(13−3)/2⌋+1 = 5+1

6

第 6 题:(13−3)/2 = 5,正好整除。如果是 14,(14−3)/2 = 5.5 → 5,输出还是 6。

二、推感受野

层

感受野

jump

Conv1 (k3 s1)

3

1

Conv2 (k3 s1)

5

1

Pool1 (k2 s2)

6

2

Conv3 (k3 s1)

10

2

Pool2 (k2 s2)

12

4

Conv4 (k3 s1)

20

4

第三问:把 Conv2 和 Conv3 换成一个 5×5,感受野会变小 (少了中间那层),而且参数量从 2×9C² = 18C² 变成 25C²—— 更贵了。

三、手算池化

MaxPool2d(2) → 3×3:

[[ 6., 8., 9.], [ 9., 5., 4.], [ 8., 6., 9.]]

AvgPool2d(2) → 3×3:

[[3.75, 5.25, 3.00], [3.75, 2.25, 2.50], [4.25, 3.75, 5.25]]

MaxPool2d(3) → 2×2(6 不能整除 3,只取 6 格里的 2 格):

[[9., 9.], [8., 9.]]

MaxPool2d(3) 的窗口不重叠,6/3 = 2,刚好。

四、思考题

#

要点

1

stride = 4。验证:(224+2−3)/4+1 = 56

2

每层少 2:64→62→60→58→56→54。剩 54×54,还能卷 26 层(到 2×2)

3

只有这个值能让输出尺寸和输入相等,搭深层网络才不用每层算尺寸

4

算一层。反向时梯度只回传给被选中的那个位置(其余是 0)

5

能接受任意输入尺寸,同一个模型可用于不同分辨率

下一章

三个旋钮、感受野、池化都清楚了。下一章开始搭真正的 CNN: LeNet。