习题
这一章全是算。三道题:算尺寸、推感受野、手算池化。
一、算输出尺寸
# | 输入 | 核 | pad | stride | 输出 |
|---|---|---|---|---|---|
1 | 32 | 3 | 0 | 1 | |
2 | 32 | 3 | 1 | 1 | |
3 | 32 | 3 | 1 | 2 | |
4 | 32 | 5 | 2 | 1 | |
5 | 224 | 7 | 3 | 2 | |
6 | 13 | 3 | 0 | 2 |
第 6 题要注意向下取整。
import torch, torch.nn as nn def size(n, k, p=0, s=1): return (n + 2*p - k) // s + 1 cases = [(32,3,0,1), (32,3,1,1), (32,3,1,2), (32,5,2,1), (224,7,3,2), (13,3,0,2)] for n, k, p, s in cases: conv = nn.Conv2d(1, 1, k, padding=p, stride=s) real = conv(torch.randn(1, 1, n, n)).shape[-1] print(f"{n:>4} 核{k} pad{p} s{s} → 公式 {size(n,k,p,s):>3} / 实际 {real:>3}")二、推感受野
一个分类网络的骨干:
Conv 3×3 stride 1 Conv 3×3 stride 1 MaxPool 2×2 Conv 3×3 stride 1 MaxPool 2×2 Conv 3×3 stride 1层 | 感受野 | jump |
|---|---|---|
Conv1 | ||
Conv2 | ||
Pool1 | ||
Conv3 | ||
Pool2 | ||
Conv4 |
layers = [("conv1",3,1), ("conv2",3,1), ("pool1",2,2), ("conv3",3,1), ("pool2",2,2), ("conv4",3,1)] rf, jump = 1, 1 for name, k, s in layers: rf += (k - 1) * jump jump *= s print(f"{name:>6} k={k} s={s} → RF={rf:>3} jump={jump}")第三道题
如果把 Conv2 和 Conv3 换成一个 5×5 的卷积, 感受野会变吗?参数量会变吗?(假设输入输出都是 C 通道。)
三、手算池化
给定 6×6 的输入:
1 3 2 4 0 1 5 6 7 8 9 2 9 2 1 0 3 4 3 1 5 3 2 1 7 8 6 5 4 0 0 2 3 1 9 8操作 | 输出尺寸 | 结果 |
|---|---|---|
| ||
| ||
|
import torch, torch.nn as nn x = torch.tensor([[[[1.,3,2,4,0,1], [5,6,7,8,9,2], [9,2,1,0,3,4], [3,1,5,3,2,1], [7,8,6,5,4,0], [0,2,3,1,9,8]]]]) print(nn.MaxPool2d(2)(x)) print(nn.AvgPool2d(2)(x)) print(nn.MaxPool2d(3)(x))四、思考题
# | 问题 |
|---|---|
1 | 想让 224×224 的图经过一层卷积后变成 56×56,核 3×3、padding 1,stride 该设多少? |
2 | 一个网络全部用 |
3 | 为什么 |
4 | 池化没有参数,那它到底算不算“一层”?它在反向传播时怎么求梯度? |
5 | 用全局平均池化代替“拉平 + 全连接”,除了参数少,还有什么好处?举一个实际场景。 |
参考答案
一、输出尺寸
# | 计算 | 输出 |
|---|---|---|
1 | (32−3)/1+1 | 30 |
2 | (32+2−3)/1+1 | 32 |
3 | (32+2−3)/2+1 | 16 |
4 | (32+4−5)/1+1 | 32 |
5 | (224+6−7)/2+1 | 112 |
6 | ⌊(13−3)/2⌋+1 = 5+1 | 6 |
第 6 题:(13−3)/2 = 5,正好整除。如果是 14,(14−3)/2 = 5.5 → 5,输出还是 6。
二、推感受野
层 | 感受野 | jump |
|---|---|---|
Conv1 (k3 s1) | 3 | 1 |
Conv2 (k3 s1) | 5 | 1 |
Pool1 (k2 s2) | 6 | 2 |
Conv3 (k3 s1) | 10 | 2 |
Pool2 (k2 s2) | 12 | 4 |
Conv4 (k3 s1) | 20 | 4 |
第三问:把 Conv2 和 Conv3 换成一个 5×5,感受野会变小 (少了中间那层),而且参数量从 2×9C² = 18C² 变成 25C²—— 更贵了。
三、手算池化
MaxPool2d(2) → 3×3:
[[ 6., 8., 9.], [ 9., 5., 4.], [ 8., 6., 9.]]AvgPool2d(2) → 3×3:
[[3.75, 5.25, 3.00], [3.75, 2.25, 2.50], [4.25, 3.75, 5.25]]MaxPool2d(3) → 2×2(6 不能整除 3,只取 6 格里的 2 格):
[[9., 9.], [8., 9.]]MaxPool2d(3) 的窗口不重叠,6/3 = 2,刚好。
四、思考题
# | 要点 |
|---|---|
1 | stride = 4。验证:(224+2−3)/4+1 = 56 |
2 | 每层少 2:64→62→60→58→56→54。剩 54×54,还能卷 26 层(到 2×2) |
3 | 只有这个值能让输出尺寸和输入相等,搭深层网络才不用每层算尺寸 |
4 | 算一层。反向时梯度只回传给被选中的那个位置(其余是 0) |
5 | 能接受任意输入尺寸,同一个模型可用于不同分辨率 |
下一章
三个旋钮、感受野、池化都清楚了。下一章开始搭真正的 CNN: LeNet。