习题

四道题:算感受野、算参数、读配置、辨真假。

一、感受野与参数

三个方案都想得到 11×11 的感受野(通道数 C→C)。先猜,再跑:

方案

感受野

参数量(C=128)

ReLU 次数

一个 11×11

两个 5×5 + 一个 3×3

五个 3×3

import torch.nn as nn def count(*layers): return sum(p.numel() for l in layers for p in l.parameters()) def receptive_field(layers): rf, jump = 1, 1 for kernel, stride in layers: rf += (kernel - 1) * jump jump *= stride return rf C = 128 print("一个 11×11 ", count(nn.Conv2d(C, C, kernel_size=11, padding=5))) print("两个 5×5 + 3×3 ", count(nn.Conv2d(C, C, 5, padding=2), nn.Conv2d(C, C, 5, padding=2), nn.Conv2d(C, C, 3, padding=1))) print("五个 3×3 ", count(*[nn.Conv2d(C, C, 3, padding=1) for _ in range(5)])) print() print("感受野:", receptive_field([(11, 1)]), receptive_field([(5, 1), (5, 1), (3, 1)]), receptive_field([(3, 1)] * 5))

想一想

三个方案的感受野一样,参数差了好几倍。 那为什么实际网络都选第三个?

二、数 VGG16 的卷积部分

段

卷积层数

通道变化

参数量

1

2

3 → 64

2

2

64 → 128

3

3

128 → 256

4

3

256 → 512

5

3

512 → 512

合计

13

import torch.nn as nn def conv_block(cin, cout): return nn.Sequential( nn.Conv2d(cin, cout, kernel_size=3, padding=1), nn.ReLU(inplace=True), ) CONFIG = [64, 64, "M", 128, 128, "M", 256, 256, 256, "M", 512, 512, 512, "M", 512, 512, 512, "M"] layers, ch = [], 3 for item in CONFIG: if item == "M": layers.append(nn.MaxPool2d(2, 2)) else: layers.append(conv_block(ch, item)) ch = item features = nn.Sequential(*layers) print(sum(p.numel() for p in features.parameters()))

三、读配置

用第二章那个 VGG(config),把配置换成下面这个。 先猜它有几层卷积、几个池化:

[32, "M", 64, "M", 128, "M", 256, "M", 512, "M"]

问题

答案

几层卷积

几次池化

224×224 输入最后会变成多大

和 VGG11 最大的区别是什么

四、辨真假

#

说法

对 / 错 + 理由

1

VGG 的全称是「Very Good Grammar」

2

三个 3×3 的感受野等于一个 7×7,参数更少

3

VGG 的卷积层会改变特征图尺寸

4

VGG11 到 VGG19,层数翻倍,参数量也翻倍

5

AlexNet 用 11×11 是因为大核比小核更强

参考答案

一、感受野与参数

方案

感受野

参数(C=128)

ReLU

一个 11×11

11

1,982,592

1

两个 5×5 + 一个 3×3

11

967,040

3

五个 3×3

11

737,920

5

感受野都是 11,参数从 198 万降到 73.8 万,省 63%。

手算核对第一条: 128 × 128 × 11 × 11 = 1,982,464, 加偏置 128 得 1,982,592。

乘 121 而不是 11——每个核是 11×11 的二维窗口。

「想一想」的答案:

参数省 63% 只是次要的。真正的原因是非线性次数: 五个 3×3 有 5 次 ReLU,一个 11×11 只有 1 次。

中间夹的非线性越多,网络能表达的决策边界越复杂。 这比省参数重要得多。

二、VGG16 卷积部分

段

通道变化

参数量

1

3 → 64

38,720

2

64 → 128

221,440

3

128 → 256

1,475,328

4

256 → 512

5,899,776

5

512 → 512

7,079,424

合计

14,714,688

卷积 1471 万,全连接 1.24 亿——全连接还是占了 89%。

注意第 5 段:3 层 512→512 是 3 × (512×512×9 + 512) = 7,079,424, 占了卷积部分的一半。通道数的平方关系在这里体现得最明显。

三、读配置

问题

答案

几层卷积

5 层(每段一层)

几次池化

5 次

224 最后多大

224 ÷ 2⁵ = 7

和 VGG11 的区别

每段只有 1 层卷积,通道翻倍更快但深度浅得多

这个配置其实更接近 AlexNet 的思路——每段只放一层。

所以 VGG 的贡献不是「3×3」,而是「每段放多层」。

四、辨真假

#

答案

理由

1

错

VGG 是牛津大学 Visual Geometry Group 的缩写,是实验室名字

2

对

感受野都是 7,参数 27C² vs 49C²

3

错

VGG 的卷积全部 padding=1,尺寸不变; 改变尺寸的是池化

4

错

层数从 8 到 16 翻倍,参数从 1.33 亿到 1.44 亿,只涨 8%

5

错

大核是为了快速缩小尺寸(11×11 步长 4,224 直接到 55), 不是更强。VGG 证明小核堆叠更好

下一章

两章下来,网络越来越深,但有两个问题一直没解决: 全连接层吃掉 90% 以上的参数, 而且层数一多就训不动。

下一章看两个解法:1×1 卷积与 NiN(干掉全连接), 然后是 ResNet(让深层网络训得动)。