写成代码并训起来
这一课在哪
上一课把七层看明白了。这一课把它敲成代码、真训一遍。
用的是 d2l 那一版:28×28 输入、第一个卷积补 2 圈、 sigmoid 激活、平均池化。
验收项 | 标准 |
|---|---|
参数量 | 61,706 |
形状链 | 28 → 14 → 10 → 5 → 400 |
3 轮后的测试准确率 | > 90% |
整个网络十二行
import torch import torch.nn as nn net = nn.Sequential( nn.Conv2d(1, 6, kernel_size=5, padding=2), nn.Sigmoid(), nn.AvgPool2d(kernel_size=2, stride=2), nn.Conv2d(6, 16, kernel_size=5), nn.Sigmoid(), nn.AvgPool2d(kernel_size=2, stride=2), nn.Flatten(), nn.Linear(16 * 5 * 5, 120), nn.Sigmoid(), nn.Linear(120, 84), nn.Sigmoid(), nn.Linear(84, 10), )三处值得停一下:
写法 | 为什么 |
|---|---|
第一层 | 第一层保住尺寸,第二层主动缩小 |
| 1989 年 ReLU 还没被提出来 |
| 同上,平均池化是那个年代的做法 |
关于「和论文的差别」
d2l 明确说了一处改动:去掉了最后一层的高斯激活, 除此之外和最初的 LeNet-5 一致。
「高斯激活」是 1998 年论文里的做法,现在的框架里没有, 而且效果也没什么差别,所以省掉了。
先验形状
搭完不要急着训,先把每一层的输出形状打出来。 这是最快的验收方式:
x = torch.randn(1, 1, 28, 28) for layer in net: x = layer(x) print(f"{layer.__class__.__name__:<12} {tuple(x.shape)}")Conv2d (1, 6, 28, 28) Sigmoid (1, 6, 28, 28) AvgPool2d (1, 6, 14, 14) Conv2d (1, 16, 10, 10) Sigmoid (1, 16, 10, 10) AvgPool2d (1, 16, 5, 5) Flatten (1, 400) Linear (1, 120) Sigmoid (1, 120) Linear (1, 84) Sigmoid (1, 84) Linear (1, 10)和上一课的表一行不差。
Flatten 那一步是分界线
看上面:Flatten 之前是四维 (1, 16, 5, 5), 之后是二维 (1, 400)。
这就是上一课说的「编码器和分类头的分界线」。
在这条线之前,数据还带着空间结构(哪个通道、哪个位置); 之后只剩下 400 个互不相干的数。
再数参数
total = 0 for name, param in net.named_parameters(): n = param.numel() total += n print(f"{name:<16} {str(tuple(param.shape)):<18} {n:>7,}") print(f"{'合计':<16} {'':<18} {total:>7,}")0.weight (6, 1, 5, 5) 150 0.bias (6,) 6 3.weight (16, 6, 5, 5) 2,400 3.bias (16,) 16 7.weight (120, 400) 48,000 7.bias (120,) 120 9.weight (84, 120) 10,080 9.bias (84,) 84 11.weight (10, 84) 840 11.bias (10,) 10 合计 61,70661,706。和上一课手算的一致。
注意 3.weight 的形状是 (16, 6, 5, 5): 第一维是核的个数,第二维是输入通道数。 「用几个核 = 几个输出通道」直接写在张量形状里。
训练
from torchvision import datasets, transforms from torch.utils.data import DataLoader, random_split transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) full_train = datasets.MNIST(root="./data", train=True, download=True, transform=transform) test_set = datasets.MNIST(root="./data", train=False, download=True, transform=transform) train_set, val_set = random_split( full_train, lengths=[54000, 6000], generator=torch.Generator().manual_seed(0), ) train_loader = DataLoader(train_set, batch_size=128, shuffle=True) val_loader = DataLoader(val_set, batch_size=512) test_loader = DataLoader(test_set, batch_size=512)不需要再手动补边
第一层已经写了 padding=2, 所以 transforms 里不用加 Pad。
很多教程在这里写 transforms.Pad(2) 把图补到 32×32—— 那是「先把图补大、卷积不补边」的做法,结果一样但多一步。
d2l 选的是让卷积自己补,更省事。
device = "cuda" if torch.cuda.is_available() else "cpu" net = net.to(device) loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(net.parameters(), lr=1e-3) for epoch in range(1, 4): net.train() train_loss, seen, train_correct = 0.0, 0, 0 for images, labels in train_loader: images = images.to(device) labels = labels.to(device) logits = net(images) loss = loss_fn(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() train_loss += loss.item() * labels.size(0) seen += labels.size(0) train_correct += (logits.argmax(dim=1) == labels).sum().item() net.eval() val_correct, val_seen = 0, 0 with torch.no_grad(): for images, labels in val_loader: images = images.to(device) labels = labels.to(device) val_correct += (net(images).argmax(dim=1) == labels).sum().item() val_seen += labels.size(0) print( f"{epoch} loss {train_loss/seen:.4f} " f"train {100*train_correct/seen:.2f}% " f"val {100*val_correct/val_seen:.2f}%" )真实跑出来(RTX 5060,每轮 30 秒):
1 loss 1.3452 train 56.52% val 85.87% 2 loss 0.3608 train 89.75% val 92.72% 3 loss 0.2228 train 93.42% val 94.42% 测试集 94.42%三个值得注意的地方
① 第 1 轮 train 比 val 低 30 个点
train 56.52% 而 val 85.87%——差了 29 个点,很夸张。
原因是训练损失是整轮平均:第 1 轮开头模型什么都不会, 前几百个 batch 都是瞎猜,把平均值拉低了。 而验证是轮末测一次,那时模型已经学了不少。
第 2 轮就正常了:train 89.75% vs val 92.72%,只差 3 个点。
② 3 轮只有 94.42%
这个数字不高。同样是 MNIST,同样 3 轮, 换成 ReLU + 最大池化能到 98.31%。
配置 | 3 轮后测试 |
|---|---|
d2l 原版(sigmoid + 平均池化) | 94.42% |
现代版(ReLU + 最大池化) | 98.31% |
这 3.9 个点就是 ReLU 的价值
同样的结构、同样的数据、同样的轮数,只换激活函数和池化方式,差 3.9 个点。
为什么?上一课算过:sigmoid 的导数最大只有 0.25, ReLU 是 1。同样深度的网络,sigmoid 的梯度传播要弱得多。
这就是为什么 2011 年之后 sigmoid 基本消失了。
③ 参数少不等于算得快
LeNet 只有 6 万参数,比一个普通的三层全连接网络(78 万)少得多。
但它每轮要跑 30 秒,而那个 78 万参数的网络只要 25 秒。
为什么
因为卷积的每个参数参与更多次乘法。
全连接层里,一个权重只乘一次;卷积层里,同一个权重要在图上扫过 几百个位置,乘几百次。
所以「参数少」省的是显存,不是时间。
看它错在哪
测试集的混淆矩阵对角线:
0: 966 1: 1100 2: 957 3: 969 4: 887 5: 816 6: 924 7: 963 8: 920 9: 940最高的是 1(1100),最低的是 5(816)——差了 284 张。
数字 | 判对 | 为什么 |
|---|---|---|
1 | 1100 | 笔画最简单,只有一竖 |
4 | 887 | 写法的变体多(开口/闭口) |
5 | 816 | 和 3、6、S 都容易混 |
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
参数 | 61,706 | 96% 在分类头 |
3 轮训练 | 90 秒 | 每轮 30 秒 |
测试 | 94.42% | 换 ReLU 能到 98.31% |
下一课
网络搭起来了、训起来了。下一课是习题: 手推形状、算参数、把 sigmoid 换成 ReLU 看差多少。