习题
这一章不写模型,只做两件事:手算一次卷积,和算清楚参数量。
一、手算一次压缩
给你一个 4×4 的输入和一个 3×3 的核,步长 1,无填充:
输入 4×4 卷积核 3×3 1 2 3 4 1 0 -1 5 6 7 8 0 0 0 9 10 11 12 -1 0 1要填的表
4×4 输入、3×3 核,输出是 2×2(4-3+1=2)。 四个位置各算一次:
位置 | 盖住的 3×3 | 9 个乘积之和 | 加偏置(0) |
|---|---|---|---|
左上 | |||
右上 | |||
左下 | |||
右下 |
验证
import torch, torch.nn.functional as F x = torch.tensor([[ 1, 2, 3, 4], [ 5, 6, 7, 8], [ 9, 10, 11, 12], [13, 14, 15, 16]], dtype=torch.float32) k = torch.tensor([[ 1, 0, -1], [ 0, 0, 0], [-1, 0, 1]], dtype=torch.float32) out = F.conv2d(x.view(1,1,4,4), k.view(1,1,3,3)) print(out.shape) # 应该是多少? print(out.squeeze().int().tolist()) # 和你手算的对得上吗这道题的关键不是算对,是体会那个「压缩」: 16 个数进,4 个数出。每个输出数都是 9 个输入的加权和。
二、改一个权重,输出怎么变
还是上面那个输入,只把核改成:
0 0 0 0 1 0 0 0 0问题 | 答案 |
|---|---|
输出是什么 | |
这个核在做什么 | |
它和第一个核( |
三、算参数量
层 | 权重 | 偏置 | 合计 |
|---|---|---|---|
| |||
| |||
| |||
| |||
|
import torch.nn as nn def n(layer): return sum(p.numel() for p in layer.parameters()) print(n(nn.Linear(784, 128))) # ? print(n(nn.Linear(150528, 1000))) # ? print(n(nn.Conv2d(3, 32, 3))) # ? print(n(nn.Conv2d(32, 64, 3))) # ? print(n(nn.Conv2d(64, 128, 5))) # ?四、输出尺寸
填表,然后用代码验证:
输入边长 | 核边长 | padding | stride | 输出边长 |
|---|---|---|---|---|
5 | 3 | 0 | 1 | |
5 | 3 | 1 | 1 | |
28 | 3 | 1 | 1 | |
28 | 3 | 1 | 2 | |
28 | 5 | 2 | 1 |
import torch, torch.nn as nn for size, k, p, s in [(5,3,0,1), (5,3,1,1), (28,3,1,1), (28,3,1,2), (28,5,2,1)]: conv = nn.Conv2d(1, 1, k, padding=p, stride=s) y = conv(torch.randn(1, 1, size, size)) print(f"{size} 核{k} pad{p} stride{s} -> {y.shape[-1]}")五、判断对错
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | 卷积核越大,参数量随图像尺寸增长 | |
2 | 把图上一半的像素随机打乱,卷积网络基本不受影响 | |
3 | 一个 3×3 卷积核扫过 224×224 的图,要做 224×224×9 次乘法 | |
4 | 卷积层的输出通道数由输入通道数决定 | |
5 | 不用 padding 时,每卷一次图就小一圈 |
六、思考题
1. 这些任务该用卷积还是全连接
任务 | 选 | 理由 |
|---|---|---|
识别手写数字 | ||
判断 X 光片有没有结节 | ||
根据 20 个表格字段预测房价 | ||
检测卫星图里有没有船 |
2. 为什么卷积对表格数据没用
卷积赌的是什么假设?表格数据哪一条不满足?举一个具体的例子。
3. 打乱 vs 平移
对同一张图做两件事:① 随机打乱所有像素;② 整体平移 10 个像素。
分别喂给训练好的卷积网络,哪个会失效?为什么?
4. 一个卷积核够吗
nn.Conv2d(3, 1, 3) 只有一个核。它最多能同时检测几种图案? 为什么实际要用 64 个甚至 256 个?
参考答案
一、手算一次压缩
左上(盖住 1–3 行、1–3 列):
1 2 3 5 6 7 9 10 11 × (1 0 -1 / 0 0 0 / -1 0 1) = 1×1 + 2×0 + 3×(-1) + 5×0 + 6×0 + 7×0 + 9×(-1) + 10×0 + 11×1 = 1 - 3 - 9 + 11 = 0右上(1–3 行、2–4 列):
2×1 + 4×(-1) + 10×(-1) + 12×1 = 2 - 4 - 10 + 12 = 0左下(2–4 行、1–3 列):
5×1 + 7×(-1) + 13×(-1) + 15×1 = 5 - 7 - 13 + 15 = 0右下(2–4 行、2–4 列):
6×1 + 8×(-1) + 14×(-1) + 16×1 = 6 - 8 - 14 + 16 = 0输出是 [[0, 0], [0, 0]]。
全是 0 是有原因的:这个核做的是「左上减右下、左下加右上」的对角差分, 而输入是一个逐行递增的等差数列,四个角的两两差分恰好抵消。
这道题真正想让你看到的是:卷积核是个固定的模板, 它对某些图案强烈响应(大正数),对另一些给 0。 换个输入,输出就完全不一样。
二、改一个权重
核变成「只看中间那一格的右边两个角」——实际上只有一个 1, 所以输出就是每个 3×3 窗口的中心数。
中心是 6 的和 7 的:[[6, 7], [10, 11]]对比:第一个核做差分(找边),这个核做取值(几乎等于原图缩小)。
这说明不同权重的卷积核在提取完全不同的东西。
三、算参数量
层 | 权重 | 偏置 | 合计 |
|---|---|---|---|
| 100352 | 128 | 100480 |
| 150528000 | 1000 | 150529000 |
| 864 | 32 | 896 |
| 18432 | 64 | 18496 |
| 204800 | 128 | 204928 |
公式:输出通道 × 输入通道 × 核高 × 核宽,偏置是 输出通道。
四、输出尺寸
输出 = (输入 + 2×padding − 核) / stride + 1(向下取整)
输入 | 核 | pad | stride | 输出 |
|---|---|---|---|---|
5 | 3 | 0 | 1 | 3 |
5 | 3 | 1 | 1 | 5 |
28 | 3 | 1 | 1 | 28 |
28 | 3 | 1 | 2 | 14 |
28 | 5 | 2 | 1 | 28 |
五、判断对错
# | 答案 | 理由 |
|---|---|---|
1 | 错 | 参数量只和通道数、核大小有关,与图像尺寸无关 |
2 | 错 | 打乱会破坏局部结构,卷积正是靠局部结构,会严重失效 |
3 | 对 | 224×224 个位置,每个 9 次乘法(准确说是 222×222 个有效位置) |
4 | 错 | 输出通道数 = 你用了几个核,由你定 |
5 | 对 | 每卷一次边长少 (k−1) |
六、思考题
题 | 要点 |
|---|---|
1 | 卷积 / 卷积 / 全连接 / 卷积 |
2 | 赌「相邻的东西有关系」;表格的列没有空间顺序,打乱列顺序信息不变 |
3 | 打乱会失效;平移不会(权重共享) |
4 | 1 个核只能学 1 种图案;多层多个才有组合能力 |
下一章
卷积的基本过程清楚了。下一章讲两个控制旋钮:步长和填充, 以及池化。