习题

四道题:算 1×1 卷积参数、判断输入尺寸、做对照实验、辨真假。

一、1×1 卷积的参数

填表(都不算偏置):

配置

形状变化

参数量

Conv2d(256, 64, 1)

(B,256,H,W) → (B,64,H,W)

Conv2d(64, 256, 1)

(B,64,H,W) → (B,256,H,W)

Conv2d(512, 512, 1)

不变

Conv2d(3, 8, 1)

(B,3,H,W) → (B,8,H,W)

想一想

第 1 行和第 2 行互为逆操作,参数量一样吗?

二、输入尺寸

用课里的 NiN,把输入尺寸从 96 往下调。 最小的能跑通的尺寸是多少?

def out_size(n, k, s=1, p=0): return (n + 2 * p - k) // s + 1 def trace(size): a = out_size(size, 11, s=4) b = out_size(a, 3, s=2) c = out_size(b, 5, p=2) d = out_size(c, 3, s=2) e = out_size(d, 3, p=1) f = out_size(e, 3, s=2) g = out_size(f, 3, p=1) return a, b, c, d, e, f, g for size in range(90, 140, 2): t = trace(size) if t[-1] >= 1 and min(t) >= 1: print(f"最小可跑 {size}: {t}") break

三、对照实验

同样把图放大到 96×96,只改第一层。各训 5 轮:

# 方案 A:NiN 原版(11×11,步长 4) nin_block(1, 96, kernel_size=11, padding=0, stride=4) # 方案 B:改成 3×3,步长 1 nin_block(1, 96, kernel_size=3, padding=1, stride=1)

方案

5 轮后 val

第一层输出尺寸

A:11×11 步长 4

B:3×3 步长 1

先猜谁更好,再跑。猜错了才有收获。

四、辨真假

#

说法

对 / 错 + 理由

1

1×1 卷积不改变特征图的高度和宽度

2

1×1 卷积的参数量只和通道数有关,和图片大小无关

3

全局平均池化会引入大量参数

4

NiN 比 AlexNet 参数少,所以一定训得更快

5

NiN 的准确率比 LeNet 低,说明它的设计是错的

参考答案

一、1×1 卷积的参数

配置

参数量

怎么算

Conv2d(256, 64, 1)

16,384

256 × 64

Conv2d(64, 256, 1)

16,384

64 × 256

Conv2d(512, 512, 1)

262,144

512 × 512

Conv2d(3, 8, 1)

24

3 × 8

「想一想」:一样。 都是 16,384——矩阵乘法 A(m×n) @ B(n×k) 里, 翻转 m 和 k 不改变 n × m × k 的量级。

64 × 256 = 256 × 64 = 16,384。

所以降维再升维(Bottleneck)不省参数—— 省的是中间那层的计算量,不是参数量。

二、输入尺寸

最小 88。

输入

11/4

池

5

池

3

池

3

88

20

9

9

4

4

1

1

90

20

9

9

4

4

1

1

96

22

10

10

4

4

1

1

88 → 20 → 9 → 9 → 4 → 4 → 1 → 1,全程没有变成 0。

再小一格(86)第一步就是 (86-11)//4+1 = 19, 后面 19→9→9→4→4→1→1 也还行…… 真正的约束是最后那次池化不能让尺寸归零。

三、对照实验

答案是 B 好得多。

方案

第一层输出

原因

A:11×11 步长 4

22×22

一口气丢掉 3/4 的像素

B:3×3 步长 1

96×96

信息全保留,靠后面的池化慢慢降

这就是课里说的「结构要匹配数据规模」。 在 224×224 上大步长是省算力的必要手段; 在 96×96 上它只剩破坏。

这也是为什么现代网络(ResNet 之后)几乎都用 3×3 + 步长 1 开头, 只在第一层用一次 7×7 步长 2。

四、辨真假

#

答案

理由

1

对

核是 1×1,配 padding=0, stride=1 时尺寸完全不变

2

对

参数量 = 输入通道 × 输出通道 × 1 × 1,不含 H、W

3

错

零参数,只是对每个通道求平均

4

错

参数量少只省显存。1×1 卷积要算 H×W 次小矩阵乘, 在 GPU 上反而慢

5

错

它低是因为用错了场景(大核大步长配小图)。 它的两个设计(1×1 卷积、全局平均池化)被后来的网络全盘接受

下一章

三章下来,网络的参数问题解决了(NiN),但另一个问题越来越严重: 层数一多就训不动。

下一章是 ResNet——它解决了这个问题, 而且是今天所有深层网络的基础。