训练记录:TensorBoard
训练的时候你在干什么?盯着 loss 打印出来的数字,等它变。
但一屏一屏的数字看不出趋势。而且训练崩了之后,你只知道"效果不好", 不知道是从第几轮开始变坏的。
它解决什么
只看 print | 用 TensorBoard |
|---|---|
数字滚屏,前面被冲掉 | 曲线留存,随时回看 |
看不出"第几轮开始过拟合" | 训练/验证两条线放一起,交叉点一目了然 |
无法对比多次实验 | 每次一个颜色,同屏对比 |
只能看损失 | 权重分布、梯度、图像、计算图都能看 |
三行接上
接入的成本很低。
from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter("logs/tensorboard/run1") writer.add_scalar("loss/train", 0.53, 0) # (标签, 数值, 步数) writer.close()然后命令行:
tensorboard --logdir=logs/tensorboard --port 6006浏览器打开 http://localhost:6006。
远程机器怎么办
训练在服务器上跑,本地看曲线,要加 --host 0.0.0.0:
tensorboard --logdir=logs/tensorboard --host 0.0.0.0 --port 6006然后用服务器的 IP 访问。
每次跑一个新目录
接上之后有个容易忽略的细节:日志往哪写。
这是关键的一条:不要覆盖上一次的日志。
import time from pathlib import Path log_dir = Path("logs/tensorboard") / time.strftime("%Y%m%d_%H%M%S") log_dir.mkdir(parents=True, exist_ok=True) writer = SummaryWriter(log_dir=str(log_dir))产生这样的目录:
logs/tensorboard/ ├── 20261016_125906/ ├── 20261028_151724/ ├── 20261028_151845/ └── 20261028_151921/TensorBoard 会把每个子目录画成一条独立的曲线,不同次的实验可以直接对比。
用固定路径的后果
SummaryWriter("logs/run") 每次都写同一个目录, TensorBoard 会把多次运行的数据混在一条线上。
曲线会出现诡异的跳跃——那是两次实验接在一起了。
该记录哪些量
日志位置定了,接着是记什么。记太多会淹没重点。
标签 | 记什么 | 为什么 |
|---|---|---|
| 每轮训练损失 | 最基本的 |
| 每轮验证损失 | 和训练损失放一起才看得出过拟合 |
| 准确率 | 分类任务看这个更直观 |
| 当前学习率 | 怀疑"为什么后期不学了"时查它 |
| 梯度范数 | 判断梯度爆炸/消失 |
| 每轮耗时 | 估还要多久跑完 |
for epoch in range(cfg.epochs): train_loss = train_one_epoch(...) val_loss, val_acc = evaluate(...) writer.add_scalar("loss/train", train_loss, epoch) writer.add_scalar("loss/val", val_loss, epoch) writer.add_scalar("acc/val", val_acc, epoch) writer.add_scalar("lr", opt.param_groups[0]["lr"], epoch)用斜杠分组
loss/train 和 loss/val 会在界面上归到同一个 loss 面板里,颜色不同。
写成 train_loss 和 val_loss 会变成两个独立面板,看着累。
怎么看这两张图
损失曲线
loss │ │\ 两条线都降 → 在学 │ \____ train 验证线拐头向上 → 开始过拟合 │ \____ val ↑ 这里该停 └──────────────────► epoch现象 | 说明 | 怎么办 |
|---|---|---|
两条都平在高位 | 欠拟合 | 模型太小 / lr 太小 |
train 降 val 不降 | 过拟合 | 加正则、加数据、早停 |
val 比 train 低 | 正常(验证集简单时) | 不用管 |
loss 突然尖刺 | lr 太大或某批数据有问题 | 降 lr、查数据 |
loss 变 nan | 梯度爆炸 | 加梯度裁剪、降 lr |
学习率曲线
用了调度器时一定要记 lr。见过很多次"训练后期完全不学了", 查下来是调度器把 lr 降到了 1e-8。
其他能记的
标量之外,还有几类东西值得记。
方法 | 记什么 |
|---|---|
| 同一个面板里多条线 |
| 权重/梯度的分布随训练的变化 |
| 输入样本、生成的图 |
| 把配置当文本记下来 |
| 网络的计算图 |
# 把这次用的配置记下来,以后回看时能对上 writer.add_text("config", str(vars(cfg)), 0) # 每 10 轮记一次权重分布 if epoch % 10 == 0: for name, p in model.named_parameters(): writer.add_histogram(name, p, epoch)同时留一份 CSV
TensorBoard 适合看,不方便算。想后期用 pandas 分析,同时记 CSV:
import csv, os def log_row(row, path="logs/history.csv"): new = not os.path.exists(path) with open(path, "a", newline="", encoding="utf-8-sig") as f: w = csv.DictWriter(f, fieldnames=row.keys()) if new: w.writeheader() w.writerow(row) log_row({"epoch": epoch, "train_loss": train_loss, "val_loss": val_loss, "val_acc": val_acc, "lr": lr})CSV 里能直接算"最好那轮的参数是多少"、"平均每轮多久", TensorBoard 做这些很别扭。
别忘了关
try: train(...) finally: writer.close() # 用 try/finally,训练崩了也关不关的话最后一段数据可能没写进磁盘。
下一课
记录有了。下一课看训练循环里那些不写不影响跑通、但写了效果明显更好的工程细节。