习题
这一章的习题全部基于同一份代码。先把它跑通,再动手改。
基线代码
import torch, torch.nn as nn from torch.utils.data import DataLoader from torchvision import datasets, transforms torch.manual_seed(0) device = "cuda" if torch.cuda.is_available() else "cpu" tf = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) train_ds = datasets.MNIST("./data", train=True, download=True, transform=tf) test_ds = datasets.MNIST("./data", train=False, transform=tf) train_loader = DataLoader(train_ds, batch_size=128, shuffle=True) test_loader = DataLoader(test_ds, batch_size=512, shuffle=False) def build(dropout=0.0, batchnorm=False): layers = [nn.Flatten(), nn.Linear(784, 256)] if batchnorm: layers.append(nn.BatchNorm1d(256)) layers.append(nn.ReLU()) if dropout > 0: layers.append(nn.Dropout(dropout)) layers.append(nn.Linear(256, 10)) return nn.Sequential(*layers).to(device) def run(lr=1e-3, dropout=0.0, bn=False, wd=0.0, epochs=3): model = build(dropout, bn) opt = torch.optim.AdamW(model.parameters(), lr=lr, weight_decay=wd) lossf = nn.CrossEntropyLoss() log = [] for ep in range(epochs): model.train() tr_loss = 0.0 for x, y in train_loader: x, y = x.to(device), y.to(device) loss = lossf(model(x), y) opt.zero_grad(); loss.backward(); opt.step() tr_loss += loss.item() * y.size(0) tr_loss /= len(train_ds) model.eval() correct = 0 with torch.no_grad(): for x, y in test_loader: x, y = x.to(device), y.to(device) correct += (model(x).argmax(1) == y).sum().item() log.append((ep + 1, tr_loss, correct / len(test_ds))) return model, log for ep, loss, acc in run()[1]: print(f"epoch {ep} train_loss {loss:.4f} test_acc {acc:.4f}")跑一遍,把结果记下来,作为后面所有对照的基线。
学习率扫描
for lr in [1e-5, 1e-4, 1e-3, 1e-2, 1e-1, 1.0]: _, log = run(lr=lr, epochs=3) ep1, ep3 = log[0], log[-1] print(f"lr={lr:<8g} ep1_loss={ep1[1]:.4f} ep3_acc={ep3[2]:.4f}")lr | 第 1 轮训练损失 | 第 3 轮准确率 | 现象 |
|---|---|---|---|
1e-5 | |||
1e-4 | |||
1e-3 | |||
1e-2 | |||
1e-1 | |||
1.0 |
要回答
哪个学习率的损失几乎不动?具体数值是多少?
哪个出现
nan?第几轮开始?最优点在哪个数量级?和「Adam 用 1e-3」的经验值对得上吗?
正则化对照
学习率定了,接着看正则化有没有用。
固定 lr=1e-3,跑四组:
组 | dropout | weight_decay | 训练损失 | 测试准确率 |
|---|---|---|---|---|
A | 0 | 0 | ||
B | 0.5 | 0 | ||
C | 0 | 1e-2 | ||
D | 0.5 | 1e-2 |
for tag, kw in [("A", {}), ("B", {"dropout": 0.5}), ("C", {"wd": 1e-2}), ("D", {"dropout": 0.5, "wd": 1e-2})]: _, log = run(epochs=10, **kw) print(tag, f"train {log[-1][1]:.4f} test_acc {log[-1][2]:.4f}")3 轮看不到差别
这个网络只有 20 万参数,训练 3 轮根本还没进入过拟合阶段,四组会几乎一样。
把 epochs 加到 10~20 才看得出差别。
BatchNorm 对照
最后看归一化——它影响的不只是精度,还有“能承受多大的学习率”。
组 | batchnorm | lr | 第 1 轮准确率 | 第 3 轮准确率 |
|---|---|---|---|---|
A | False | 1e-3 | ||
B | True | 1e-3 | ||
C | False | 1e-2 | ||
D | True | 1e-2 |
再试出「不发散的最大学习率」,两边各填一个数:
不发散的最大 lr | |
|---|---|
不加 BN | |
加 BN |
思考题
实验做完了,几道题检验有没有真的理解。
1. 为什么 Dropout 不能在评估时开
模型对某个样本原本输出 [0.1, 8.2, 0.3],预测第 1 类。 如果评估时 Dropout(0.5) 还开着,输出可能变成什么?预测会变吗?
2. batch_size 从 128 改成 512
按线性缩放规则学习率该改成多少?实际跑一下,真的更好吗?
3. 这段配置至少有两个问题
model = nn.Sequential( nn.Linear(784, 256), nn.Dropout(0.5), nn.ReLU(), nn.BatchNorm1d(256), nn.Linear(256, 10), ) model.eval() # 用 batch_size=1 的数据跑评估参考答案要点
题 | 要点 |
|---|---|
一.1 | 1e-5,三轮损失几乎停在初始的 2.30 附近 |
一.2 | 1e-1 和 1.0 通常第 1 轮就 nan |
一.3 | 1e-3 附近最好,和 Adam 系列的经验值一致 |
二 | 10 轮后 A 组训练损失最低但测试准确率不一定最高;D 组训练损失更高、泛化更稳 |
三 | 加 BN 第一轮准确率明显更高;BN 能承受的 lr 大约高 5~10 倍 |
四.1 | 输出变成随机的,比如 |
四.2 | 理论 |
四.3 | ① |
下一章
2A 到此结束。下一章进入卷积:为什么处理图像不能再用全连接。