习题

这一章的习题全部基于同一份代码。先把它跑通,再动手改。

基线代码

import torch, torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, transforms torch.manual_seed(0) device = "cuda" if torch.cuda.is_available() else "cpu" tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) train_ds = datasets.MNIST("./data", train=True, download=True, transform=tf) test_ds = datasets.MNIST("./data", train=False, transform=tf) train_loader = DataLoader(train_ds, batch_size=128, shuffle=True) test_loader = DataLoader(test_ds, batch_size=512, shuffle=False) def build(dropout=0.0, batchnorm=False): layers = [nn.Flatten(), nn.Linear(784, 256)] if batchnorm: layers.append(nn.BatchNorm1d(256)) layers.append(nn.ReLU()) if dropout > 0: layers.append(nn.Dropout(dropout)) layers.append(nn.Linear(256, 10)) return nn.Sequential(*layers).to(device) def run(lr=1e-3, dropout=0.0, bn=False, wd=0.0, epochs=3): model = build(dropout, bn) opt = torch.optim.AdamW(model.parameters(), lr=lr, weight_decay=wd) lossf = nn.CrossEntropyLoss() log = [] for ep in range(epochs): model.train() tr_loss = 0.0 for x, y in train_loader: x, y = x.to(device), y.to(device) loss = lossf(model(x), y) opt.zero_grad(); loss.backward(); opt.step() tr_loss += loss.item() * y.size(0) tr_loss /= len(train_ds) model.eval() correct = 0 with torch.no_grad(): for x, y in test_loader: x, y = x.to(device), y.to(device) correct += (model(x).argmax(1) == y).sum().item() log.append((ep + 1, tr_loss, correct / len(test_ds))) return model, log for ep, loss, acc in run()[1]: print(f"epoch {ep} train_loss {loss:.4f} test_acc {acc:.4f}")

跑一遍,把结果记下来,作为后面所有对照的基线。

学习率扫描

for lr in [1e-5, 1e-4, 1e-3, 1e-2, 1e-1, 1.0]: _, log = run(lr=lr, epochs=3) ep1, ep3 = log[0], log[-1] print(f"lr={lr:<8g} ep1_loss={ep1[1]:.4f} ep3_acc={ep3[2]:.4f}")

lr

第 1 轮训练损失

第 3 轮准确率

现象

1e-5

1e-4

1e-3

1e-2

1e-1

1.0

要回答

  1. 哪个学习率的损失几乎不动?具体数值是多少?

  2. 哪个出现 nan?第几轮开始?

  3. 最优点在哪个数量级?和「Adam 用 1e-3」的经验值对得上吗?

正则化对照

学习率定了,接着看正则化有没有用。

固定 lr=1e-3,跑四组:

组

dropout

weight_decay

训练损失

测试准确率

A

0

0

B

0.5

0

C

0

1e-2

D

0.5

1e-2

for tag, kw in [("A", {}), ("B", {"dropout": 0.5}), ("C", {"wd": 1e-2}), ("D", {"dropout": 0.5, "wd": 1e-2})]: _, log = run(epochs=10, **kw) print(tag, f"train {log[-1][1]:.4f} test_acc {log[-1][2]:.4f}")

3 轮看不到差别

这个网络只有 20 万参数,训练 3 轮根本还没进入过拟合阶段,四组会几乎一样。

把 epochs 加到 10~20 才看得出差别。

BatchNorm 对照

最后看归一化——它影响的不只是精度,还有“能承受多大的学习率”。

组

batchnorm

lr

第 1 轮准确率

第 3 轮准确率

A

False

1e-3

B

True

1e-3

C

False

1e-2

D

True

1e-2

再试出「不发散的最大学习率」,两边各填一个数:

不发散的最大 lr

不加 BN

加 BN

思考题

实验做完了,几道题检验有没有真的理解。

1. 为什么 Dropout 不能在评估时开

模型对某个样本原本输出 [0.1, 8.2, 0.3],预测第 1 类。 如果评估时 Dropout(0.5) 还开着,输出可能变成什么?预测会变吗?

2. batch_size 从 128 改成 512

按线性缩放规则学习率该改成多少?实际跑一下,真的更好吗?

3. 这段配置至少有两个问题

model = nn.Sequential( nn.Linear(784, 256), nn.Dropout(0.5), nn.ReLU(), nn.BatchNorm1d(256), nn.Linear(256, 10), ) model.eval() # 用 batch_size=1 的数据跑评估

参考答案要点

题

要点

一.1

1e-5,三轮损失几乎停在初始的 2.30 附近

一.2

1e-1 和 1.0 通常第 1 轮就 nan

一.3

1e-3 附近最好,和 Adam 系列的经验值一致

二

10 轮后 A 组训练损失最低但测试准确率不一定最高;D 组训练损失更高、泛化更稳

三

加 BN 第一轮准确率明显更高;BN 能承受的 lr 大约高 5~10 倍

四.1

输出变成随机的,比如 [0, 16.4, 0.6],类别可能翻转

四.2

理论 1e-3 × 4 = 4e-3;实际常常不如小幅上调,且要配 warmup

四.3

① BatchNorm1d 在 batch_size=1 时报错;② Dropout 应放在 ReLU 之后;③ 顺序上 BN 一般放在激活之前

下一章

2A 到此结束。下一章进入卷积:为什么处理图像不能再用全连接。