训练记录:TensorBoard

训练的时候你在干什么?盯着 loss 打印出来的数字,等它变。

但一屏一屏的数字看不出趋势。而且训练崩了之后,你只知道"效果不好", 不知道是从第几轮开始变坏的。

它解决什么

只看 print

用 TensorBoard

数字滚屏,前面被冲掉

曲线留存,随时回看

看不出"第几轮开始过拟合"

训练/验证两条线放一起,交叉点一目了然

无法对比多次实验

每次一个颜色,同屏对比

只能看损失

权重分布、梯度、图像、计算图都能看

三行接上

接入的成本很低。

from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter("logs/tensorboard/run1") writer.add_scalar("loss/train", 0.53, 0) # (标签, 数值, 步数) writer.close()

然后命令行:

tensorboard --logdir=logs/tensorboard --port 6006

浏览器打开 http://localhost:6006。

远程机器怎么办

训练在服务器上跑,本地看曲线,要加 --host 0.0.0.0:

tensorboard --logdir=logs/tensorboard --host 0.0.0.0 --port 6006

然后用服务器的 IP 访问。

每次跑一个新目录

接上之后有个容易忽略的细节:日志往哪写。

这是关键的一条:不要覆盖上一次的日志。

import time from pathlib import Path log_dir = Path("logs/tensorboard") / time.strftime("%Y%m%d_%H%M%S") log_dir.mkdir(parents=True, exist_ok=True) writer = SummaryWriter(log_dir=str(log_dir))

产生这样的目录:

logs/tensorboard/ ├── 20261016_125906/ ├── 20261028_151724/ ├── 20261028_151845/ └── 20261028_151921/

TensorBoard 会把每个子目录画成一条独立的曲线,不同次的实验可以直接对比。

用固定路径的后果

SummaryWriter("logs/run") 每次都写同一个目录, TensorBoard 会把多次运行的数据混在一条线上。

曲线会出现诡异的跳跃——那是两次实验接在一起了。

该记录哪些量

日志位置定了,接着是记什么。记太多会淹没重点。

标签

记什么

为什么

loss/train

每轮训练损失

最基本的

loss/val

每轮验证损失

和训练损失放一起才看得出过拟合

acc/train acc/val

准确率

分类任务看这个更直观

lr

当前学习率

怀疑"为什么后期不学了"时查它

grad_norm

梯度范数

判断梯度爆炸/消失

time/epoch

每轮耗时

估还要多久跑完

for epoch in range(cfg.epochs): train_loss = train_one_epoch(...) val_loss, val_acc = evaluate(...) writer.add_scalar("loss/train", train_loss, epoch) writer.add_scalar("loss/val", val_loss, epoch) writer.add_scalar("acc/val", val_acc, epoch) writer.add_scalar("lr", opt.param_groups[0]["lr"], epoch)

用斜杠分组

loss/train 和 loss/val 会在界面上归到同一个 loss 面板里,颜色不同。

写成 train_loss 和 val_loss 会变成两个独立面板,看着累。

怎么看这两张图

损失曲线

loss │ │\ 两条线都降 → 在学 │ \____ train 验证线拐头向上 → 开始过拟合 │ \____ val ↑ 这里该停 └──────────────────► epoch

现象

说明

怎么办

两条都平在高位

欠拟合

模型太小 / lr 太小

train 降 val 不降

过拟合

加正则、加数据、早停

val 比 train 低

正常(验证集简单时)

不用管

loss 突然尖刺

lr 太大或某批数据有问题

降 lr、查数据

loss 变 nan

梯度爆炸

加梯度裁剪、降 lr

学习率曲线

用了调度器时一定要记 lr。见过很多次"训练后期完全不学了", 查下来是调度器把 lr 降到了 1e-8。

其他能记的

标量之外,还有几类东西值得记。

方法

记什么

add_scalars

同一个面板里多条线

add_histogram

权重/梯度的分布随训练的变化

add_image

输入样本、生成的图

add_text

把配置当文本记下来

add_graph

网络的计算图

# 把这次用的配置记下来,以后回看时能对上 writer.add_text("config", str(vars(cfg)), 0) # 每 10 轮记一次权重分布 if epoch % 10 == 0: for name, p in model.named_parameters(): writer.add_histogram(name, p, epoch)

同时留一份 CSV

TensorBoard 适合看,不方便算。想后期用 pandas 分析,同时记 CSV:

import csv, os def log_row(row, path="logs/history.csv"): new = not os.path.exists(path) with open(path, "a", newline="", encoding="utf-8-sig") as f: w = csv.DictWriter(f, fieldnames=row.keys()) if new: w.writeheader() w.writerow(row) log_row({"epoch": epoch, "train_loss": train_loss, "val_loss": val_loss, "val_acc": val_acc, "lr": lr})

CSV 里能直接算"最好那轮的参数是多少"、"平均每轮多久", TensorBoard 做这些很别扭。

别忘了关

try: train(...) finally: writer.close() # 用 try/finally,训练崩了也关

不关的话最后一段数据可能没写进磁盘。

下一课

记录有了。下一课看训练循环里那些不写不影响跑通、但写了效果明显更好的工程细节。