训练一个翻译模型

这一课在哪

数据和模型都齐了。这一课真训一遍,看 loss 怎么走。

然后看一件不太舒服的事:数字很好看,翻译却很糟。

训练循环

import torch import torch.nn as nn device = "cuda" if torch.cuda.is_available() else "cpu" model = Seq2Seq(src_vocab=6083, tgt_vocab=2343).to(device) loss_fn = nn.CrossEntropyLoss(ignore_index=0) # 0 = <pad> optimizer = torch.optim.Adam(model.parameters(), lr=2e-3) scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, patience=2, factor=0.5) for epoch in range(1, 26): model.train() train_loss, seen = 0.0, 0 for src, tgt, src_len in train_loader: src = src.to(device) tgt = tgt.to(device) out = model(src, src_len, tgt) # (B, L-1, V) gold = tgt[:, 1:] # (B, L-1) loss = loss_fn(out.reshape(-1, 2343), gold.reshape(-1)) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() train_loss += loss.item() * gold.numel() seen += gold.numel() model.eval() val_loss, val_seen = 0.0, 0 with torch.no_grad(): for src, tgt, src_len in val_loader: src = src.to(device) tgt = tgt.to(device) out = model(src, src_len, tgt) gold = tgt[:, 1:] val_loss += loss_fn(out.reshape(-1, 2343), gold.reshape(-1)).item() * gold.numel() val_seen += gold.numel() v = val_loss / val_seen scheduler.step(v) print(f"{epoch} train {train_loss/seen:.4f} val {v:.4f} ppl {torch.exp(torch.tensor(v)):.2f}")

注意 loss_fn(out.reshape(-1, 2343), gold.reshape(-1)) 这两行——把三维摊平成二维才能算交叉熵。

张量

原来

reshape 后

out

(B, L-1, 2343)

(B×(L-1), 2343)

gold

(B, L-1)

(B×(L-1),)

真实训练曲线

hidden 256、embed 256、3,548,711 参数,RTX 5060 每轮 14 秒。

ep train_loss val_loss ppl 1 3.9763 3.2316 25.32 2 2.8777 2.8183 16.75 3 2.3871 2.6204 13.74 4 2.0695 2.5103 12.31 5 1.8776 2.4591 11.69 6 1.6733 2.4361 11.43 7 1.4939 2.4215 11.26 ← 最低 8 1.3390 2.4374 11.44 9 1.2043 2.4706 11.83 10 1.0858 2.5122 12.33 11 0.8834 2.4908 12.07 12 0.7731 2.5342 12.61 13 0.7051 2.5692 13.06

现象

说明

val 在第 7 轮见底

之后就是过拟合,train 一路降到 0.70,val 反而涨

ppl 从 25.32 降到 11.26

困惑度 = e^loss,可以粗略理解为「每一步在多少个词里犹豫」

第 13 轮 train 0.70

train ppl 只有 2,模型在背训练集

正确做法:保存第 7 轮的权重

训练 25 轮,但只保留验证损失最低那一轮。

这就是「早停」——不是训到收敛,而是训到验证集开始变差就停。

然后是坏消息

ppl 11.26,看起来还行。拿它翻译几个句子看看:

英: tell tom i need to borrow his car. 金: 告诉汤姆我需要借他的车。 译: 告诉我他能做到汤姆的事。 英: how is your family? 金: 你家里人都还好吗? 译: 你的笔记本吗? 英: i can speak english. 金: 我会讲英语。 译: 我可以用这个词典。 英: drunk driving is a serious problem. 金: 酒驾是个严重的问题。 译: 别人看到了一个人。

这几乎全是错的

有意思的是:这些中文都很通顺。 语法对、搭配自然、符合中文习惯。

但它们和英文原句没什么关系。

模型学会的是「说中文」,不是「翻译」。

翻不对,是哪里出了问题

先别急着怪架构。做一个实验:把编码器的输入全换成 0,看损失变多少。

# 编码器什么都没读到,只剩解码器自己 if zero_input: src = torch.zeros_like(src)

编码器输入

val_loss

ppl

真实英文

2.4215

11.26

全 0(什么都不给)

4.1282

62.07

这个结果说明编码器是在干活的

把英文全清空,困惑度从 11.26 涨到 62.07—— 差了 5.5 倍。

如果模型完全忽略编码器,这两个数应该一样。 它们差这么多,说明 h 里的信息确实在影响预测。

所以问题不是「没用编码器」,是「用得不够准」。

那准确率为什么还是这么低

#

原因

证据

①

瓶颈太窄

一句 10 个词,全压进 256 个数。 第 1 个词的信息要穿过 10 步才到 h

②

数据太少

2.6 万条,而且全是短句。第 20 轮 train 就掉到 0.40(在背训练集)

③

模型太小

354 万参数,其中 RNN 只有 79 万

④

没有对齐机制

解码器写第 3 个词时,没法「回头看」英文的第 2 个词—— 只能靠 h 里的模糊印象

第 ④ 条是最根本的

前三条都能靠「更多数据、更大的模型、更久的训练」改善。

第 ④ 条是结构性的:seq2seq 把整句压成一个向量之后, 就把「哪个英文词对应哪个中文词」这个信息扔掉了。

第 36 章的注意力就是把这个信息要回来。

也有对的时候

不是全错。短句、常见句式是能翻对的:

英: i can speak english. 译: 我会讲英语。 ← 完全正确 英: who does this suitcase belong to? 译: 这是谁的铅笔? ← 句式对了,名词错了

第 2 个例子很典型:模型学会了「X 是谁的」这个句型, 但没记住 suitcase 是「手提箱」。

这是词表太小 + 训练不够的典型表现。

那这个架构还有用吗

有。三个层面:

#

原因

①

换个任务、更多数据、更长训练,效果会明显变好。 这里只有 2.6 万条短句,太小了

②

框架是对的。第 36 章的注意力会把 out 接回来, 那时编码器信息就直接参与每一步预测了

③

「ppl 只有 11 却翻不对」这个现象本身, 比一个能跑的例子更有价值

这件事在真实研究里叫什么

文献里管它叫「解码器塌缩」或「忽略源语言」。

后来有些工作专门加了一个辅助损失,逼模型从编码器的输出里预测源词, 才把这个毛病压下去。

这也是为什么第 36 章的注意力如此重要—— 它从结构上让编码器信息无法被忽略。

训练技巧小结

技巧

值

为什么

优化器

Adam

—

初始学习率

2e-3

比图像任务大一点

学习率衰减

3 轮不降就减半

后期需要更细的步子

梯度裁剪

1.0

解码器是循环网络

batch size

128

—

早停

第 7 轮

val 见底就停

这一课留下的三个数

数

值

含义

最优 val ppl

11.26

第 7 轮

全 0 输入时 ppl

62.07

差 5.5 倍,说明编码器在起作用

训练轮数

7

早停,不是 25

下一课

训练完了。真正要用的时候没有标准答案可喂, 解码器只能自己往下猜。

下一课讲两种猜法:贪心和束搜索,并且实测对比它们的效果和速度。