习题
四道题:算 1×1 卷积参数、判断输入尺寸、做对照实验、辨真假。
一、1×1 卷积的参数
填表(都不算偏置):
配置 | 形状变化 | 参数量 |
|---|---|---|
Conv2d(256, 64, 1) | (B,256,H,W) → (B,64,H,W) | |
Conv2d(64, 256, 1) | (B,64,H,W) → (B,256,H,W) | |
Conv2d(512, 512, 1) | 不变 | |
Conv2d(3, 8, 1) | (B,3,H,W) → (B,8,H,W) |
想一想
第 1 行和第 2 行互为逆操作,参数量一样吗?
二、输入尺寸
用课里的 NiN,把输入尺寸从 96 往下调。 最小的能跑通的尺寸是多少?
def out_size(n, k, s=1, p=0): return (n + 2 * p - k) // s + 1 def trace(size): a = out_size(size, 11, s=4) b = out_size(a, 3, s=2) c = out_size(b, 5, p=2) d = out_size(c, 3, s=2) e = out_size(d, 3, p=1) f = out_size(e, 3, s=2) g = out_size(f, 3, p=1) return a, b, c, d, e, f, g for size in range(90, 140, 2): t = trace(size) if t[-1] >= 1 and min(t) >= 1: print(f"最小可跑 {size}: {t}") break三、对照实验
同样把图放大到 96×96,只改第一层。各训 5 轮:
# 方案 A:NiN 原版(11×11,步长 4) nin_block(1, 96, kernel_size=11, padding=0, stride=4) # 方案 B:改成 3×3,步长 1 nin_block(1, 96, kernel_size=3, padding=1, stride=1)方案 | 5 轮后 val | 第一层输出尺寸 |
|---|---|---|
A:11×11 步长 4 | ||
B:3×3 步长 1 |
先猜谁更好,再跑。猜错了才有收获。
四、辨真假
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | 1×1 卷积不改变特征图的高度和宽度 | |
2 | 1×1 卷积的参数量只和通道数有关,和图片大小无关 | |
3 | 全局平均池化会引入大量参数 | |
4 | NiN 比 AlexNet 参数少,所以一定训得更快 | |
5 | NiN 的准确率比 LeNet 低,说明它的设计是错的 |
参考答案
一、1×1 卷积的参数
配置 | 参数量 | 怎么算 |
|---|---|---|
Conv2d(256, 64, 1) | 16,384 | 256 × 64 |
Conv2d(64, 256, 1) | 16,384 | 64 × 256 |
Conv2d(512, 512, 1) | 262,144 | 512 × 512 |
Conv2d(3, 8, 1) | 24 | 3 × 8 |
「想一想」:一样。 都是 16,384——矩阵乘法 A(m×n) @ B(n×k) 里, 翻转 m 和 k 不改变 n × m × k 的量级。
64 × 256 = 256 × 64 = 16,384。
所以降维再升维(Bottleneck)不省参数—— 省的是中间那层的计算量,不是参数量。
二、输入尺寸
最小 88。
输入 | 11/4 | 池 | 5 | 池 | 3 | 池 | 3 |
|---|---|---|---|---|---|---|---|
88 | 20 | 9 | 9 | 4 | 4 | 1 | 1 |
90 | 20 | 9 | 9 | 4 | 4 | 1 | 1 |
96 | 22 | 10 | 10 | 4 | 4 | 1 | 1 |
88 → 20 → 9 → 9 → 4 → 4 → 1 → 1,全程没有变成 0。
再小一格(86)第一步就是 (86-11)//4+1 = 19, 后面 19→9→9→4→4→1→1 也还行…… 真正的约束是最后那次池化不能让尺寸归零。
三、对照实验
答案是 B 好得多。
方案 | 第一层输出 | 原因 |
|---|---|---|
A:11×11 步长 4 | 22×22 | 一口气丢掉 3/4 的像素 |
B:3×3 步长 1 | 96×96 | 信息全保留,靠后面的池化慢慢降 |
这就是课里说的「结构要匹配数据规模」。 在 224×224 上大步长是省算力的必要手段; 在 96×96 上它只剩破坏。
这也是为什么现代网络(ResNet 之后)几乎都用 3×3 + 步长 1 开头, 只在第一层用一次 7×7 步长 2。
四、辨真假
# | 答案 | 理由 |
|---|---|---|
1 | 对 | 核是 1×1,配 |
2 | 对 | 参数量 |
3 | 错 | 零参数,只是对每个通道求平均 |
4 | 错 | 参数量少只省显存。1×1 卷积要算 H×W 次小矩阵乘, 在 GPU 上反而慢 |
5 | 错 | 它低是因为用错了场景(大核大步长配小图)。 它的两个设计(1×1 卷积、全局平均池化)被后来的网络全盘接受 |
下一章
三章下来,网络的参数问题解决了(NiN),但另一个问题越来越严重: 层数一多就训不动。
下一章是 ResNet——它解决了这个问题, 而且是今天所有深层网络的基础。