把 VGG 跑起来

这一课在哪

上一课讲了三条规矩。这一课把它们写成代码。

你会看到一个对比:AlexNet 要五十多行,VGG 二十行就够。

先抽一个块

import torch import torch.nn as nn def conv_block(in_channels, out_channels): return nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), )

原版 VGG 没有 BatchNorm

2014 年的论文里没有 BN——它 2015 年才被提出。

这里加上它,因为不加的话 13 层卷积很难训。

这就是「原始论文」和「现代实现」的差距,读论文时要留意。

padding=1 配 kernel_size=3, 输出尺寸等于输入——这就是上一课那条规矩①。

用列表描述结构

上一课那张表可以直接写成一个列表:数字是通道数,"M" 是池化。

VGG_CONFIGS = { "VGG11": [64, "M", 128, "M", 256, 256, "M", 512, 512, "M", 512, 512, "M"], "VGG13": [64, 64, "M", 128, 128, "M", 256, 256, "M", 512, 512, "M", 512, 512, "M"], "VGG16": [64, 64, "M", 128, 128, "M", 256, 256, 256, "M", 512, 512, 512, "M", 512, 512, 512, "M"], "VGG19": [64, 64, "M", 128, 128, "M", 256, 256, 256, 256, "M", 512, 512, 512, 512, "M", 512, 512, 512, 512, "M"], }

四个变体的差别全在这一个列表里。

整个网络

class VGG(nn.Module): def __init__(self, config, num_classes=1000, in_channels=3): super().__init__() layers = [] channels = in_channels for item in config: if item == "M": layers.append(nn.MaxPool2d(kernel_size=2, stride=2)) else: layers.append(conv_block(channels, item)) channels = item self.features = nn.Sequential(*layers) self.classifier = nn.Sequential( nn.AdaptiveAvgPool2d((7, 7)), nn.Flatten(), nn.Linear(in_features=512 * 7 * 7, out_features=4096), nn.ReLU(inplace=True), nn.Dropout(p=0.5), nn.Linear(in_features=4096, out_features=4096), nn.ReLU(inplace=True), nn.Dropout(p=0.5), nn.Linear(in_features=4096, out_features=num_classes), ) def forward(self, x): features = self.features(x) logits = self.classifier(features) return logits

三处要停一下

写法

为什么

channels = item

每建完一个块,更新「下一层的输入通道」

nn.Sequential(*layers)

星号必需。不加是把整个列表当成一层

AdaptiveAvgPool2d((7, 7))

保证不管输入多大,后面都能接 512*7*7

数参数

model = VGG(VGG_CONFIGS["VGG11"], num_classes=1000) total = sum(p.numel() for p in model.parameters()) conv = sum(p.numel() for p in model.features.parameters()) fc = sum(p.numel() for p in model.classifier.parameters()) print(f"总 {total:,}") # 132,868,840 print(f"卷积 {conv:,}") # 9,225,984 print(f"全连接 {fc:,}") # 123,642,856

部分

参数

占比

卷积(8 层)

9,225,984

6.9%

全连接(3 层)

123,642,856

93.1%

比 AlexNet 更极端——93% 在分类头。

小图版

VGG 本来要 224×224。用 MNIST 的话,通道和尺寸都要缩。

# 通道数减半,专给 32×32 的小图用 VGG_SMALL_CONFIG = [32, "M", 64, "M", 128, 128, "M", 256, 256, "M", 256, 256, "M"] class VGGSmall(nn.Module): def __init__(self, config, num_classes=10, in_channels=1): super().__init__() layers = [] channels = in_channels for item in config: if item == "M": layers.append(nn.MaxPool2d(kernel_size=2, stride=2)) else: layers.append(conv_block(channels, item)) channels = item self.features = nn.Sequential(*layers) self.classifier = nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(in_features=channels, out_features=1024), nn.ReLU(inplace=True), nn.Dropout(p=0.4), nn.Linear(in_features=1024, out_features=num_classes), ) def forward(self, x): features = self.features(x) logits = self.classifier(features) return logits

32×32 的图经过 5 次池化会怎样

32 → 16 → 8 → 4 → 2 → 1。

第五次池化时输入已经是 2×2,池完正好 1×1。 再多一次就没了,所以小图最多撑 5 个池化段。

通道减半也是同一个道理:32×32 撑不起 512 个通道,参数会浪费在过拟合上。

训练

device = "cuda" if torch.cuda.is_available() else "cpu" model = VGGSmall(VGG_SMALL_CONFIG).to(device) print(sum(p.numel() for p in model.parameters())) # 2,581,834 loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) for epoch in range(1, 7): model.train() for images, labels in train_loader: images = images.to(device) labels = labels.to(device) logits = model(images) loss = loss_fn(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() model.eval() val_loss, seen, correct = 0.0, 0, 0 with torch.no_grad(): for images, labels in val_loader: images = images.to(device) labels = labels.to(device) logits = model(images) val_loss += loss_fn(logits, labels).item() * labels.size(0) seen += labels.size(0) correct += (logits.argmax(dim=1) == labels).sum().item() print( f"{epoch} val_loss {val_loss/seen:.4f} " f"val_acc {100*correct/seen:.2f}%" )

真实跑出来(RTX 5060,每轮 40 秒):

1 val_loss 0.0915 val_acc 97.30% 2 val_loss 0.0403 val_acc 98.83% 3 val_loss 0.0743 val_acc 97.93% 4 val_loss 0.0451 val_acc 98.90% 5 val_loss 0.0319 val_acc 99.23% 6 val_loss 0.0484 val_acc 98.73% 测试集 99.05%

和 AlexNet 比

AlexNet

VGG11

小图版参数

3,777,226

2,581,834

卷积层数

5

8

第 1 轮准确率

92.03%

97.30%

最好一轮

97.90%

99.23%

测试集

97.82%

99.05%

参数少 32%,准确率高 1.2 个点

VGG11 小图版 258 万,AlexNet 小图版 378 万。

但 VGG 层数更多(8 层 vs 5 层),而且每层都配了 BatchNorm。

不是「参数多就强」,是「结构对就强」。

第 1 轮差 5 个点,为什么

AlexNet

VGG11

BatchNorm

没有

每层都有

第一个卷积

11×11 步长 4

3×3 步长 1

第 1 轮就能到

92.03%

97.30%

主因是 BatchNorm。它把每层输出拉回均值 0、方差 1, 后面的层不用再追着前面层的变化跑。

次因是 11×11 步长 4 在小图上太伤—— 32×32 的图一上来就被砍成 8×8。

这一课留下的三个数

数

值

含义

原版 VGG11

132,868,840

93% 在分类头

小图版

2,581,834

通道减半

测试

99.05%

比 AlexNet 高 1.2 点

下一课

两章下来,网络越来越深,但有个东西一直没解决: 全连接层吃掉 93% 的参数。

下一课是习题,把这两个网络拆开算清楚。