训练循环里的六个工程细节

前面几课的训练循环能跑,但放在真实项目里会缺六样东西。 它们都不影响"跑通",影响的是跑得住、查得清。

细节一:进度条不是装饰

from tqdm import tqdm pbar = tqdm(train_loader, desc=f"Epoch {epoch+1}", mininterval=0.5) for x, y in pbar: ... pbar.set_postfix({"loss": f"{loss.item():.4f}"})

输出:

Epoch 3: 47%|████▋ | 367/781 [01:12<01:21, 5.08it/s, loss=0.2841]

信息

为什么有用

367/781

这一轮还有多少

01:12<01:21

已用 / 还要多久

5.08it/s

吞吐。突然掉到 0.5 说明有地方卡了

loss=0.2841

实时损失,不用等到轮末

mininterval 很重要

不加的话 tqdm 每个 batch 都刷新一次,几十个 batch 后终端会卡。

mininterval=0.5 表示最多每 0.5 秒刷一次。

细节二:梯度裁剪

进度条解决的是“看不看得见”。接下来五个解决的是“跑不跑得住”。

loss.backward() # 在 step 之前,把所有梯度的总范数限制在 1.0 以内 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) optimizer.step()

它做的事:算出所有参数梯度的总长度,超了就按比例缩小。

没有裁剪

有裁剪

某一批数据梯度特别大

被压到 1.0

参数被一步推飞

最多推到正常范围

loss 变成 nan

通常不会

RNN、LSTM 和 Transformer 几乎必须加——序列模型的梯度天然容易爆炸。

位置不能错

必须在 loss.backward() 之后、 optimizer.step() 之前。

放前面没有梯度可裁,放后面裁了也没用了。

细节三:冻结 BN 层

迁移学习时,预训练部分通常要冻住。但只设 requires_grad = False 不够:

# 只冻参数 for p in model.features.parameters(): p.requires_grad = False # 但 BatchNorm 在 train() 模式下仍会更新 running_mean / running_var! # 那是"不需要梯度也会变"的状态

所以还要把 BN 切成 eval:

def freeze_bn(model): for m in model.modules(): if isinstance(m, nn.BatchNorm2d): m.eval() # 用固定的滑动统计量,不再更新 # 训练循环里 model.train() if cfg.transfer_mode: freeze_bn(model) # 再覆盖一遍

这是迁移学习最隐蔽的坑

model.train() 会把所有子模块设成训练模式, 包括你刚冻住的 BN。

所以要在 train() 之后再单独把 BN 设回 eval()。

不这么做的后果:微调时预训练特征的统计量被小数据集带偏,效果反而变差。

细节四:保存最好的那一份

前三样保的是“不出事”。这一样保的是“别白训”。

import copy best_acc = 0.0 best_wts = copy.deepcopy(model.state_dict()) # 深拷贝一份当前参数 for epoch in range(epochs): train_one_epoch(...) acc = evaluate(...) if acc > best_acc: best_acc = acc best_wts = copy.deepcopy(model.state_dict()) # 更新 # 训练全部结束后,恢复到最好的那一轮 model.load_state_dict(best_wts)

这样不用往磁盘写文件,代价是多占一份显存。 模型很大时改成存文件。

不能直接赋值

best_wts = model.state_dict() 只是拿了个引用, 之后参数一变它跟着变,最后存下来的还是最后一轮。

必须 deepcopy。

细节五:算准确率要排除 padding

这一条和序列任务绑得比较紧,但踩的人很多。

序列任务里,一句话后面补的 0 不是真正的词,不能算进准确率:

pred = logits.argmax(dim=-1) # (B, L) mask = target != 0 # padding 位置是 0 correct = ((pred == target) & mask).sum().item() total = mask.sum().item() acc = correct / total # 只算真实 token

不排除 padding

排除

准确率虚高

反映真实水平

短句子多的 batch 分数特别高

不受句子长度影响

模型学会"全猜 0"就能拿高分

学不到这个捷径

细节六:zero_grad 用 set_to_none

optimizer.zero_grad(set_to_none=True)

写法

做了什么

开销

zero_grad()

把梯度张量全部填 0

要遍历写一遍内存

zero_grad(set_to_none=True)

把 .grad 设成 None

只改指针,更快更省

PyTorch 2.0 之后默认已经是 set_to_none=True,显式写出来是为了让读者知道有这回事。

六个细节合起来的样子

分开看都是小改动。合到一个循环里,位置不能错。

model.train() if cfg.transfer_mode == 1: freeze_bn(model) # 细节三 pbar = tqdm(train_loader, mininterval=0.5) # 细节一 for x, y in pbar: x, y = x.to(device), y.to(device) logits = model(x) loss = criterion(logits.view(-1, V), y.view(-1)) optimizer.zero_grad(set_to_none=True) # 细节六 loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) # 细节二 optimizer.step() mask = y != 0 # 细节五 correct = ((logits.argmax(-1) == y) & mask).sum().item() pbar.set_postfix({"loss": f"{loss.item():.4f}"}) # 轮末 if acc > best_acc: # 细节四 best_acc = acc best_wts = copy.deepcopy(model.state_dict())

下一课

训练完的模型要能用。下一课讲导出:ONNX 和 CPU 推理。