断点续训与检查点
训练 50 轮,跑到第 37 轮机器断电了。要不要从头再来?
这一课讲怎么让它从第 38 轮接着跑,而且接着的效果和没断过一样。
只存参数是不够的
直觉上存个模型就够了。但“接着训练”和“拿来推理”要的东西不一样。
前面学过 torch.save(model.state_dict(), "model.pt")。那只能用来推理。
要接着训练,还缺四样:
要存 | 不存会怎样 |
|---|---|
| 参数没了 |
| Adam 的动量和梯度平方没了,相当于重新开始 |
| 学习率回到初始值,前面的衰减白做了 |
| 不知道从第几轮接着跑 |
| "最好的一轮"记录清零,可能会把差的模型当成最好的保存 |
优化器状态不是可有可无的
只存模型参数、不存优化器,续训后损失会先上升一段。
因为 Adam 的 m 和 v 归零了,前几步的更新方向和原来完全不同。
这是"续训后效果变差"最常见的原因。
完整的保存代码
要存的东西列全了,写成函数。
def save_checkpoint(path, model, optimizer, scheduler, epoch, best_acc, cfg): torch.save({ "epoch": epoch, "model_state_dict": model.state_dict(), "optimizer_state_dict": optimizer.state_dict(), "scheduler_state_dict": scheduler.state_dict(), "best_acc": best_acc, "cfg": {k: str(v) for k, v in vars(cfg).items()}, # 当时的配置也存一份 }, path)在训练循环里这样用:
best_acc = 0.0 for epoch in range(start_epoch, cfg.epochs): train_one_epoch(...) acc = evaluate(...) # 每轮都存一个"最新状态",断电了能接着跑 save_checkpoint("last.pt", model, opt, sched, epoch, best_acc, cfg) # 只有变好才存"最佳模型" if acc > best_acc: best_acc = acc torch.save(model.state_dict(), "best.pt")文件 | 用途 | 存什么 |
|---|---|---|
| 续训 | 全套状态(含优化器) |
| 推理 | 只有模型参数 |
恢复现场
def resume(self): p = Path(self.cfg.resume_path) if not p.exists(): return # 没有断点,从头开始 ckpt = torch.load(p, map_location=self.cfg.device) self.model.load_state_dict(ckpt["model_state_dict"]) self.optimizer.load_state_dict(ckpt["optimizer_state_dict"]) self.scheduler.load_state_dict(ckpt["scheduler_state_dict"]) self.start_epoch = ckpt["epoch"] + 1 # +1:从下一轮开始 self.best_acc = ckpt["best_acc"] print(f"从第 {self.start_epoch} 轮接着训,历史最佳 {self.best_acc:.4f}")epoch + 1 不要忘
checkpoint 里存的 epoch 是已经跑完的那一轮。
直接拿它当 range 起点会把那一轮重跑一遍——通常不会出错,但会多算一次。
三个容易踩的坑
保存和恢复的逻辑写对了,实际用起来还有三个坑。
坑一:换了模型结构还想加载
RuntimeError: Error(s) in loading state_dict for Seq2Seq: Missing key(s) in state_dict: "encoder.emb.weight", ...checkpoint 里的参数名和现在的模型对不上。改了网络结构就不能直接加载旧权重。
局部加载可以这样:
ckpt = torch.load("last.pt", map_location="cpu") state = ckpt["model_state_dict"] mine = model.state_dict() # 只加载名字和形状都对得上的 usable = {k: v for k, v in state.items() if k in mine and mine[k].shape == v.shape} mine.update(usable) model.load_state_dict(mine) print(f"加载了 {len(usable)}/{len(mine)} 个参数")坑二:在 GPU 上存的,在 CPU 上加载
RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False加 map_location:
torch.load("last.pt", map_location="cpu") # 强制读到 CPU torch.load("last.pt", map_location=cfg.device) # 读到当前设备永远加 map_location——不加的话,代码就绑死在"和保存时同样的设备"上。
坑三:不同版本的 PyTorch
和 sklearn 那章一样:torch.save 存的是 Python 对象,换版本可能读不出来。
把版本写进 checkpoint:
torch.save({ ..., "torch_version": torch.__version__, "saved_at": time.strftime("%Y-%m-%d %H:%M:%S"), }, path)自动保留最近 N 个
每轮存一个 last.pt 会覆盖。如果想留最近的几个:
from pathlib import Path def save_rotating(ckpt, save_dir, epoch, keep=3): save_dir = Path(save_dir); save_dir.mkdir(exist_ok=True) path = save_dir / f"epoch_{epoch:03d}.pt" torch.save(ckpt, path) # 只留最近 keep 个 old = sorted(save_dir.glob("epoch_*.pt"))[:-keep] for f in old: f.unlink()训练崩了想回退到"三轮前那个还好的状态"时,这个很有用。
不该存进 checkpoint 的东西
反过来,有些东西看着该存,其实不该。
别存 | 原因 |
|---|---|
整个 Dataset 对象 | 可能几百 MB,而且不可移植 |
TensorBoard writer | 它不是可序列化的状态 |
模型对象本身 | 存 |
打开的文件句柄 | 恢复时无效 |
下一课
能续训了,但你还不知道训练过程中发生了什么。下一课讲记录:TensorBoard。