习题

这一章不写模型,只做两件事:手算一次卷积,和算清楚参数量。

一、手算一次压缩

给你一个 4×4 的输入和一个 3×3 的核,步长 1,无填充:

输入 4×4 卷积核 3×3 1 2 3 4 1 0 -1 5 6 7 8 0 0 0 9 10 11 12 -1 0 1

要填的表

4×4 输入、3×3 核,输出是 2×2(4-3+1=2)。 四个位置各算一次:

位置

盖住的 3×3

9 个乘积之和

加偏置(0)

左上

右上

左下

右下

验证

import torch, torch.nn.functional as F x = torch.tensor([[ 1, 2, 3, 4], [ 5, 6, 7, 8], [ 9, 10, 11, 12], [13, 14, 15, 16]], dtype=torch.float32) k = torch.tensor([[ 1, 0, -1], [ 0, 0, 0], [-1, 0, 1]], dtype=torch.float32) out = F.conv2d(x.view(1,1,4,4), k.view(1,1,3,3)) print(out.shape) # 应该是多少? print(out.squeeze().int().tolist()) # 和你手算的对得上吗

这道题的关键不是算对,是体会那个「压缩」: 16 个数进,4 个数出。每个输出数都是 9 个输入的加权和。

二、改一个权重,输出怎么变

还是上面那个输入,只把核改成:

 0 0 0 0 1 0 0 0 0

问题

答案

输出是什么

这个核在做什么

它和第一个核(1 0 -1 / 0 0 0 / -1 0 1)有什么区别

三、算参数量

层

权重

偏置

合计

nn.Linear(784, 128)

nn.Linear(150528, 1000)

nn.Conv2d(3, 32, 3)

nn.Conv2d(32, 64, 3)

nn.Conv2d(64, 128, 5)

import torch.nn as nn def n(layer): return sum(p.numel() for p in layer.parameters()) print(n(nn.Linear(784, 128))) # ? print(n(nn.Linear(150528, 1000))) # ? print(n(nn.Conv2d(3, 32, 3))) # ? print(n(nn.Conv2d(32, 64, 3))) # ? print(n(nn.Conv2d(64, 128, 5))) # ?

四、输出尺寸

填表,然后用代码验证:

输入边长

核边长

padding

stride

输出边长

5

3

0

1

5

3

1

1

28

3

1

1

28

3

1

2

28

5

2

1

import torch, torch.nn as nn for size, k, p, s in [(5,3,0,1), (5,3,1,1), (28,3,1,1), (28,3,1,2), (28,5,2,1)]: conv = nn.Conv2d(1, 1, k, padding=p, stride=s) y = conv(torch.randn(1, 1, size, size)) print(f"{size} 核{k} pad{p} stride{s} -> {y.shape[-1]}")

五、判断对错

#

说法

对 / 错 + 理由

1

卷积核越大,参数量随图像尺寸增长

2

把图上一半的像素随机打乱,卷积网络基本不受影响

3

一个 3×3 卷积核扫过 224×224 的图,要做 224×224×9 次乘法

4

卷积层的输出通道数由输入通道数决定

5

不用 padding 时,每卷一次图就小一圈

六、思考题

1. 这些任务该用卷积还是全连接

任务

选

理由

识别手写数字

判断 X 光片有没有结节

根据 20 个表格字段预测房价

检测卫星图里有没有船

2. 为什么卷积对表格数据没用

卷积赌的是什么假设?表格数据哪一条不满足?举一个具体的例子。

3. 打乱 vs 平移

对同一张图做两件事:① 随机打乱所有像素;② 整体平移 10 个像素。

分别喂给训练好的卷积网络,哪个会失效?为什么?

4. 一个卷积核够吗

nn.Conv2d(3, 1, 3) 只有一个核。它最多能同时检测几种图案? 为什么实际要用 64 个甚至 256 个?

参考答案

一、手算一次压缩

左上(盖住 1–3 行、1–3 列):

1 2 3 5 6 7 9 10 11 × (1 0 -1 / 0 0 0 / -1 0 1) = 1×1 + 2×0 + 3×(-1) + 5×0 + 6×0 + 7×0 + 9×(-1) + 10×0 + 11×1 = 1 - 3 - 9 + 11 = 0

右上(1–3 行、2–4 列):

2×1 + 4×(-1) + 10×(-1) + 12×1 = 2 - 4 - 10 + 12 = 0

左下(2–4 行、1–3 列):

5×1 + 7×(-1) + 13×(-1) + 15×1 = 5 - 7 - 13 + 15 = 0

右下(2–4 行、2–4 列):

6×1 + 8×(-1) + 14×(-1) + 16×1 = 6 - 8 - 14 + 16 = 0

输出是 [[0, 0], [0, 0]]。

全是 0 是有原因的:这个核做的是「左上减右下、左下加右上」的对角差分, 而输入是一个逐行递增的等差数列,四个角的两两差分恰好抵消。

这道题真正想让你看到的是:卷积核是个固定的模板, 它对某些图案强烈响应(大正数),对另一些给 0。 换个输入,输出就完全不一样。

二、改一个权重

核变成「只看中间那一格的右边两个角」——实际上只有一个 1, 所以输出就是每个 3×3 窗口的中心数。

中心是 6 的和 7 的:[[6, 7], [10, 11]]

对比:第一个核做差分(找边),这个核做取值(几乎等于原图缩小)。

这说明不同权重的卷积核在提取完全不同的东西。

三、算参数量

层

权重

偏置

合计

Linear(784, 128)

100352

128

100480

Linear(150528, 1000)

150528000

1000

150529000

Conv2d(3, 32, 3)

864

32

896

Conv2d(32, 64, 3)

18432

64

18496

Conv2d(64, 128, 5)

204800

128

204928

公式:输出通道 × 输入通道 × 核高 × 核宽,偏置是 输出通道。

四、输出尺寸

输出 = (输入 + 2×padding − 核) / stride + 1(向下取整)

输入

核

pad

stride

输出

5

3

0

1

3

5

3

1

1

5

28

3

1

1

28

28

3

1

2

14

28

5

2

1

28

五、判断对错

#

答案

理由

1

错

参数量只和通道数、核大小有关,与图像尺寸无关

2

错

打乱会破坏局部结构,卷积正是靠局部结构,会严重失效

3

对

224×224 个位置,每个 9 次乘法(准确说是 222×222 个有效位置)

4

错

输出通道数 = 你用了几个核,由你定

5

对

每卷一次边长少 (k−1)

六、思考题

题

要点

1

卷积 / 卷积 / 全连接 / 卷积

2

赌「相邻的东西有关系」;表格的列没有空间顺序,打乱列顺序信息不变

3

打乱会失效;平移不会(权重共享)

4

1 个核只能学 1 种图案;多层多个才有组合能力

下一章

卷积的基本过程清楚了。下一章讲两个控制旋钮:步长和填充, 以及池化。