习题
四道题:推形状、算参数、换激活函数做对照、辨真假。
一、推形状
把 LeNet 的输入换成 32×32,其余一层不动。 填表:
层 | 配置 | 输出形状 | 拉平后 |
|---|---|---|---|
C1 | Conv2d(1, 6, 5, padding=2) | ||
S2 | AvgPool2d(2, 2) | ||
C3 | Conv2d(6, 16, 5) | ||
S4 | AvgPool2d(2, 2) | ||
Flatten | — |
答完再想一个问题:Linear(16*5*5, 120) 这一行还能直接用吗?如果不能,该改成多少?
import torch import torch.nn as nn layers = nn.Sequential( nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(), nn.AvgPool2d(kernel_size=2, stride=2), nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(), nn.AvgPool2d(kernel_size=2, stride=2), nn.Flatten(), ) x = torch.randn(1, 1, 32, 32) for layer in layers: x = layer(x) print(f"{layer.__class__.__name__:<12} {tuple(x.shape)}")二、算参数
还是上一题的 32×32 版本,把参数全算出来:
层 | 权重 | 偏置 | 合计 |
|---|---|---|---|
Conv2d(1, 6, 5, padding=2) | |||
Conv2d(6, 16, 5) | |||
Linear(?, 120) | |||
Linear(120, 84) | |||
Linear(84, 10) | |||
合计 |
注意 padding 不改变参数量
padding=2 只在输入外面补 0, 卷积核还是 5×5,参数一个不多。
它的作用只是让输出尺寸从 28 变成 32。
三、换激活函数做对照
下面两个网络只有激活函数和池化方式不同, 其余完全一样。各训 3 轮,填表:
import torch.nn as nn def make_net(modern=False): act = nn.ReLU if modern else nn.Sigmoid pool = nn.MaxPool2d if modern else nn.AvgPool2d return nn.Sequential( nn.Conv2d(1, 6, kernel_size=5, padding=2), act(), pool(kernel_size=2, stride=2), nn.Conv2d(6, 16, kernel_size=5), act(), pool(kernel_size=2, stride=2), nn.Flatten(), nn.Linear(16 * 5 * 5, 120), act(), nn.Linear(120, 84), act(), nn.Linear(84, 10), ) print("原版参数", sum(p.numel() for p in make_net(False).parameters())) print("现代参数", sum(p.numel() for p in make_net(True).parameters()))版本 | 参数量 | 3 轮后测试 | 每轮耗时 |
|---|---|---|---|
sigmoid + 平均池化 | |||
ReLU + 最大池化 |
想一想
# | 问题 |
|---|---|
1 | 两个版本的参数量一样吗?为什么? |
2 | 差了多少个百分点? |
3 | 用上一课学的「sigmoid 导数最大 0.25」解释这个差距 |
四、辨真假
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | LeNet 是第一个卷积神经网络 | |
2 | LeNet 用 ReLU 是因为当年只有 ReLU | |
3 | padding 会增加参数量 | |
4 | 参数少的网络一定跑得快 | |
5 | Flatten 之后就不能再用卷积了 |
参考答案
一、推形状(32×32 输入)
层 | 输出 | 怎么算 |
|---|---|---|
C1 | 6@32×32 | 32 + 4 − 5 + 1 |
S2 | 6@16×16 | 32 ÷ 2 |
C3 | 16@12×12 | 16 − 5 + 1 |
S4 | 16@6×6 | 12 ÷ 2 |
Flatten | 576 | 16 × 6 × 6 |
不能直接用 Linear(400, 120)。 要改成 Linear(576, 120)。
报错是:mat1 and mat2 shapes cannot be multiplied (128x576 and 400x120)。
576 = 16×6×6,400 = 16×5×5。差在第二次卷积之后。
二、算参数(32×32 版本)
层 | 权重 | 偏置 | 合计 |
|---|---|---|---|
Conv2d(1,6,5,p=2) | 6×1×25 = 150 | 6 | 156 |
Conv2d(6,16,5) | 16×6×25 = 2,400 | 16 | 2,416 |
Linear(576,120) | 576×120 = 69,120 | 120 | 69,240 |
Linear(120,84) | 10,080 | 84 | 10,164 |
Linear(84,10) | 840 | 10 | 850 |
合计 | 82,826 |
比 28×28 版本多了 21,120 个参数 (82,826 − 61,706)。
全在 Linear(576,120) 那一层: 576×120 − 400×120 = 69,120 − 48,000 = 21,120。
输入边长从 28 涨到 32,拉平后 400 → 576, 全连接第一层就跟着涨。
三、换激活函数
版本 | 参数 | 3 轮测试 | 每轮 |
|---|---|---|---|
sigmoid + 平均池化 | 61,706 | 94.42% | 30s |
ReLU + 最大池化 | 61,706 | 98.31% | 25s |
三问的答案:
# | 答案 |
|---|---|
1 | 完全一样。激活函数和池化方式都不带参数—— sigmoid/ReLU 是逐元素函数,AvgPool/MaxPool 只做比较或平均 |
2 | 3.89 个百分点(94.42% → 98.31%) |
3 | sigmoid 的导数最大 0.25,ReLU 是 1。 三层 sigmoid 连乘 |
四、辨真假
# | 答案 | 理由 |
|---|---|---|
1 | 错 | LeNet 是「第一个成功训练并大规模应用」的, 卷积的想法在 1980 年代就有了 |
2 | 错 | 正好相反:用 sigmoid 是因为当年还没有 ReLU。 原文说「虽然 ReLU 和最大汇聚层更有效,但它们在 90 年代还没有出现」 |
3 | 错 | padding 只补 0,卷积核大小不变,参数不变 |
4 | 错 | 卷积的每个参数要在图上扫几百次, 参数少省的是显存不是时间 |
5 | 对 | 拉平之后空间结构没了,只能接全连接。 要用卷积必须保持四维形状 |
下一章
LeNet 是 1989 年的东西。下一章看 2012 年的 AlexNet—— 结构几乎一样,但深了 3 倍,而且用上了 GPU。
那一年的比赛里,它的错误率比第二名低了 10.9 个百分点。