把 VGG 跑起来
这一课在哪
上一课讲了三条规矩。这一课把它们写成代码。
你会看到一个对比:AlexNet 要五十多行,VGG 二十行就够。
先抽一个块
import torch import torch.nn as nn def conv_block(in_channels, out_channels): return nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), )原版 VGG 没有 BatchNorm
2014 年的论文里没有 BN——它 2015 年才被提出。
这里加上它,因为不加的话 13 层卷积很难训。
这就是「原始论文」和「现代实现」的差距,读论文时要留意。
padding=1 配 kernel_size=3, 输出尺寸等于输入——这就是上一课那条规矩①。
用列表描述结构
上一课那张表可以直接写成一个列表:数字是通道数,"M" 是池化。
VGG_CONFIGS = { "VGG11": [64, "M", 128, "M", 256, 256, "M", 512, 512, "M", 512, 512, "M"], "VGG13": [64, 64, "M", 128, 128, "M", 256, 256, "M", 512, 512, "M", 512, 512, "M"], "VGG16": [64, 64, "M", 128, 128, "M", 256, 256, 256, "M", 512, 512, 512, "M", 512, 512, 512, "M"], "VGG19": [64, 64, "M", 128, 128, "M", 256, 256, 256, 256, "M", 512, 512, 512, 512, "M", 512, 512, 512, 512, "M"], }四个变体的差别全在这一个列表里。
整个网络
class VGG(nn.Module): def __init__(self, config, num_classes=1000, in_channels=3): super().__init__() layers = [] channels = in_channels for item in config: if item == "M": layers.append(nn.MaxPool2d(kernel_size=2, stride=2)) else: layers.append(conv_block(channels, item)) channels = item self.features = nn.Sequential(*layers) self.classifier = nn.Sequential( nn.AdaptiveAvgPool2d((7, 7)), nn.Flatten(), nn.Linear(in_features=512 * 7 * 7, out_features=4096), nn.ReLU(inplace=True), nn.Dropout(p=0.5), nn.Linear(in_features=4096, out_features=4096), nn.ReLU(inplace=True), nn.Dropout(p=0.5), nn.Linear(in_features=4096, out_features=num_classes), ) def forward(self, x): features = self.features(x) logits = self.classifier(features) return logits三处要停一下
写法 | 为什么 |
|---|---|
| 每建完一个块,更新「下一层的输入通道」 |
| 星号必需。不加是把整个列表当成一层 |
| 保证不管输入多大,后面都能接 |
数参数
model = VGG(VGG_CONFIGS["VGG11"], num_classes=1000) total = sum(p.numel() for p in model.parameters()) conv = sum(p.numel() for p in model.features.parameters()) fc = sum(p.numel() for p in model.classifier.parameters()) print(f"总 {total:,}") # 132,868,840 print(f"卷积 {conv:,}") # 9,225,984 print(f"全连接 {fc:,}") # 123,642,856部分 | 参数 | 占比 |
|---|---|---|
卷积(8 层) | 9,225,984 | 6.9% |
全连接(3 层) | 123,642,856 | 93.1% |
比 AlexNet 更极端——93% 在分类头。
小图版
VGG 本来要 224×224。用 MNIST 的话,通道和尺寸都要缩。
# 通道数减半,专给 32×32 的小图用 VGG_SMALL_CONFIG = [32, "M", 64, "M", 128, 128, "M", 256, 256, "M", 256, 256, "M"] class VGGSmall(nn.Module): def __init__(self, config, num_classes=10, in_channels=1): super().__init__() layers = [] channels = in_channels for item in config: if item == "M": layers.append(nn.MaxPool2d(kernel_size=2, stride=2)) else: layers.append(conv_block(channels, item)) channels = item self.features = nn.Sequential(*layers) self.classifier = nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(in_features=channels, out_features=1024), nn.ReLU(inplace=True), nn.Dropout(p=0.4), nn.Linear(in_features=1024, out_features=num_classes), ) def forward(self, x): features = self.features(x) logits = self.classifier(features) return logits32×32 的图经过 5 次池化会怎样
32 → 16 → 8 → 4 → 2 → 1。
第五次池化时输入已经是 2×2,池完正好 1×1。 再多一次就没了,所以小图最多撑 5 个池化段。
通道减半也是同一个道理:32×32 撑不起 512 个通道,参数会浪费在过拟合上。
训练
device = "cuda" if torch.cuda.is_available() else "cpu" model = VGGSmall(VGG_SMALL_CONFIG).to(device) print(sum(p.numel() for p in model.parameters())) # 2,581,834 loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) for epoch in range(1, 7): model.train() for images, labels in train_loader: images = images.to(device) labels = labels.to(device) logits = model(images) loss = loss_fn(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() model.eval() val_loss, seen, correct = 0.0, 0, 0 with torch.no_grad(): for images, labels in val_loader: images = images.to(device) labels = labels.to(device) logits = model(images) val_loss += loss_fn(logits, labels).item() * labels.size(0) seen += labels.size(0) correct += (logits.argmax(dim=1) == labels).sum().item() print( f"{epoch} val_loss {val_loss/seen:.4f} " f"val_acc {100*correct/seen:.2f}%" )真实跑出来(RTX 5060,每轮 40 秒):
1 val_loss 0.0915 val_acc 97.30% 2 val_loss 0.0403 val_acc 98.83% 3 val_loss 0.0743 val_acc 97.93% 4 val_loss 0.0451 val_acc 98.90% 5 val_loss 0.0319 val_acc 99.23% 6 val_loss 0.0484 val_acc 98.73% 测试集 99.05%和 AlexNet 比
AlexNet | VGG11 | |
|---|---|---|
小图版参数 | 3,777,226 | 2,581,834 |
卷积层数 | 5 | 8 |
第 1 轮准确率 | 92.03% | 97.30% |
最好一轮 | 97.90% | 99.23% |
测试集 | 97.82% | 99.05% |
参数少 32%,准确率高 1.2 个点
VGG11 小图版 258 万,AlexNet 小图版 378 万。
但 VGG 层数更多(8 层 vs 5 层),而且每层都配了 BatchNorm。
不是「参数多就强」,是「结构对就强」。
第 1 轮差 5 个点,为什么
AlexNet | VGG11 | |
|---|---|---|
BatchNorm | 没有 | 每层都有 |
第一个卷积 | 11×11 步长 4 | 3×3 步长 1 |
第 1 轮就能到 | 92.03% | 97.30% |
主因是 BatchNorm。它把每层输出拉回均值 0、方差 1, 后面的层不用再追着前面层的变化跑。
次因是 11×11 步长 4 在小图上太伤—— 32×32 的图一上来就被砍成 8×8。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
原版 VGG11 | 132,868,840 | 93% 在分类头 |
小图版 | 2,581,834 | 通道减半 |
测试 | 99.05% | 比 AlexNet 高 1.2 点 |
下一课
两章下来,网络越来越深,但有个东西一直没解决: 全连接层吃掉 93% 的参数。
下一课是习题,把这两个网络拆开算清楚。