习题
四道题:算感受野、算参数、读配置、辨真假。
一、感受野与参数
三个方案都想得到 11×11 的感受野(通道数 C→C)。先猜,再跑:
方案 | 感受野 | 参数量(C=128) | ReLU 次数 |
|---|---|---|---|
一个 11×11 | |||
两个 5×5 + 一个 3×3 | |||
五个 3×3 |
import torch.nn as nn def count(*layers): return sum(p.numel() for l in layers for p in l.parameters()) def receptive_field(layers): rf, jump = 1, 1 for kernel, stride in layers: rf += (kernel - 1) * jump jump *= stride return rf C = 128 print("一个 11×11 ", count(nn.Conv2d(C, C, kernel_size=11, padding=5))) print("两个 5×5 + 3×3 ", count(nn.Conv2d(C, C, 5, padding=2), nn.Conv2d(C, C, 5, padding=2), nn.Conv2d(C, C, 3, padding=1))) print("五个 3×3 ", count(*[nn.Conv2d(C, C, 3, padding=1) for _ in range(5)])) print() print("感受野:", receptive_field([(11, 1)]), receptive_field([(5, 1), (5, 1), (3, 1)]), receptive_field([(3, 1)] * 5))想一想
三个方案的感受野一样,参数差了好几倍。 那为什么实际网络都选第三个?
二、数 VGG16 的卷积部分
段 | 卷积层数 | 通道变化 | 参数量 |
|---|---|---|---|
1 | 2 | 3 → 64 | |
2 | 2 | 64 → 128 | |
3 | 3 | 128 → 256 | |
4 | 3 | 256 → 512 | |
5 | 3 | 512 → 512 | |
合计 | 13 |
import torch.nn as nn def conv_block(cin, cout): return nn.Sequential( nn.Conv2d(cin, cout, kernel_size=3, padding=1), nn.ReLU(inplace=True), ) CONFIG = [64, 64, "M", 128, 128, "M", 256, 256, 256, "M", 512, 512, 512, "M", 512, 512, 512, "M"] layers, ch = [], 3 for item in CONFIG: if item == "M": layers.append(nn.MaxPool2d(2, 2)) else: layers.append(conv_block(ch, item)) ch = item features = nn.Sequential(*layers) print(sum(p.numel() for p in features.parameters()))三、读配置
用第二章那个 VGG(config),把配置换成下面这个。 先猜它有几层卷积、几个池化:
[32, "M", 64, "M", 128, "M", 256, "M", 512, "M"]问题 | 答案 |
|---|---|
几层卷积 | |
几次池化 | |
224×224 输入最后会变成多大 | |
和 VGG11 最大的区别是什么 |
四、辨真假
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | VGG 的全称是「Very Good Grammar」 | |
2 | 三个 3×3 的感受野等于一个 7×7,参数更少 | |
3 | VGG 的卷积层会改变特征图尺寸 | |
4 | VGG11 到 VGG19,层数翻倍,参数量也翻倍 | |
5 | AlexNet 用 11×11 是因为大核比小核更强 |
参考答案
一、感受野与参数
方案 | 感受野 | 参数(C=128) | ReLU |
|---|---|---|---|
一个 11×11 | 11 | 1,982,592 | 1 |
两个 5×5 + 一个 3×3 | 11 | 967,040 | 3 |
五个 3×3 | 11 | 737,920 | 5 |
感受野都是 11,参数从 198 万降到 73.8 万,省 63%。
手算核对第一条: 128 × 128 × 11 × 11 = 1,982,464, 加偏置 128 得 1,982,592。
乘 121 而不是 11——每个核是 11×11 的二维窗口。
「想一想」的答案:
参数省 63% 只是次要的。真正的原因是非线性次数: 五个 3×3 有 5 次 ReLU,一个 11×11 只有 1 次。
中间夹的非线性越多,网络能表达的决策边界越复杂。 这比省参数重要得多。
二、VGG16 卷积部分
段 | 通道变化 | 参数量 |
|---|---|---|
1 | 3 → 64 | 38,720 |
2 | 64 → 128 | 221,440 |
3 | 128 → 256 | 1,475,328 |
4 | 256 → 512 | 5,899,776 |
5 | 512 → 512 | 7,079,424 |
合计 | 14,714,688 |
卷积 1471 万,全连接 1.24 亿——全连接还是占了 89%。
注意第 5 段:3 层 512→512 是 3 × (512×512×9 + 512) = 7,079,424, 占了卷积部分的一半。通道数的平方关系在这里体现得最明显。
三、读配置
问题 | 答案 |
|---|---|
几层卷积 | 5 层(每段一层) |
几次池化 | 5 次 |
224 最后多大 |
|
和 VGG11 的区别 | 每段只有 1 层卷积,通道翻倍更快但深度浅得多 |
这个配置其实更接近 AlexNet 的思路——每段只放一层。
所以 VGG 的贡献不是「3×3」,而是「每段放多层」。
四、辨真假
# | 答案 | 理由 |
|---|---|---|
1 | 错 | VGG 是牛津大学 Visual Geometry Group 的缩写,是实验室名字 |
2 | 对 | 感受野都是 7,参数 27C² vs 49C² |
3 | 错 | VGG 的卷积全部 |
4 | 错 | 层数从 8 到 16 翻倍,参数从 1.33 亿到 1.44 亿,只涨 8% |
5 | 错 | 大核是为了快速缩小尺寸(11×11 步长 4,224 直接到 55), 不是更强。VGG 证明小核堆叠更好 |
下一章
两章下来,网络越来越深,但有两个问题一直没解决: 全连接层吃掉 90% 以上的参数, 而且层数一多就训不动。
下一章看两个解法:1×1 卷积与 NiN(干掉全连接), 然后是 ResNet(让深层网络训得动)。