评估与推理验证

这一课在哪

模型写完了。这一课真训一遍,然后和 35 章那个无注意力版逐项对比。

对比必须公平——同一份数据、同一套超参、同一个评估脚本。

训练:同样的条件

项

值

数据

25,947 训练 / 1,442 验证 / 1,442 测试

词表

源 6,083 / 目标 2,343

embed / hidden

256 / 256

优化器

Adam,lr 2e-3,3 轮不降减半

梯度裁剪

1.0

轮数

20(取验证最优那一轮)

两条曲线

 无注意力 有注意力 轮 train val ppl train val ppl 1 3.9763 3.2316 25.32 3.9263 3.1197 22.64 2 2.8777 2.8183 16.75 2.6902 2.5981 13.44 3 2.3871 2.6204 13.74 2.1359 2.3549 10.54 4 2.0695 2.5103 12.31 1.7414 2.2311 9.31 5 1.8776 2.4591 11.69 1.4326 2.1718 8.77 6 1.6733 2.4361 11.43 1.1863 2.1678 8.74 ← 最优 7 1.4939 2.4215 11.26 0.9886 2.1839 8.88 8 1.3390 2.4374 11.44 0.8248 2.1934 8.97

无注意力

有注意力

最优 val ppl

11.26(第 7 轮)

8.74(第 6 轮)

相对

1×

0.78×

参数量

3,548,711

3,876,647(+9.2%)

第一轮就差 2.7 个 ppl

第 1 轮:22.64 vs 25.32。还没有充分训练,差距就已经出现。

这说明注意力不是靠更多训练换来的, 是结构本身给了它更好的信息通路。

和 34.7 课那个「LSTM 第一轮就领先 13 个点」是同一个现象。

BLEU:同一脚本、同样 400 句

def greedy(ids, mx=25): with torch.no_grad(): x = torch.tensor([ids]).to(device) sl = torch.tensor([len(ids)]) _, hn = model.enc(x, sl) st = hn.squeeze(0) w = torch.tensor([BOS]).to(device) out = [] for _ in range(mx): lg, st = model.dec.step(w, st) # 无注意力版 # 有注意力版:先算 alpha 和 context 再 step i = int(lg.argmax(-1)) if i == EOS: break out.append(i) w = torch.tensor([i]).to(device) return out

源句长度

句数

无注意力

有注意力

提升

1-5 词

174

25.79

33.83

+8.04

6-8 词

186

18.65

25.55

+6.90

9-12 词

36

13.72

21.24

+7.52

13+ 词

4

9.92

11.86

+1.94

整体

400

21.22

28.63

+7.41

整体从 21.22 提到 28.63

提升 35%。而参数量只多了 9.2%。

三个桶都涨了 7 个点左右,幅度相当一致。

这说明注意力不是「只对某种长度有效」,是普遍改善。

但要老实说:瓶颈没有消失

看提升之后的形状,还是单调下降的:

长度

有注意力 BLEU

相对 1-5 词

1-5 词

33.83

1×

6-8 词

25.55

0.76×

9-12 词

21.24

0.63×

13+ 词

11.86

0.35×

注意力缓解了瓶颈,但没消除它

35.8 课那个无注意力版,从最短桶到最长桶掉了 62%(25.79 → 9.92)。

加了注意力之后掉了 65%(33.83 → 11.86)——比例上没好转。

但绝对值整体抬高了 7 个点。所以准确的说法是: 注意力让所有长度都变好,但没有专门解决「长句更难」这件事。

这正是第 37 章 Transformer 要接着做的——它完全不经过循环, 任意两个位置直接相连,「长度」不再是一个天然劣势。

看几个翻译结果

英 i can speak english. 金 我会讲英语。 译 我会讲英语。 ← 完全正确 英 how is your family? 金 你家里人都还好吗? 译 你的家庭是怎么样? ← 意思基本对,不够地道 英 my wife wants to adopt a child. 金 我妻子想收养一个孩子。 译 我的老婆要想出孩子。 ← 主语和张冠李戴 英 tell tom i need to borrow his car. 金 告诉汤姆我需要借他的车。 译 告诉我要去看他的车。 ← 漏了「汤姆」 英 drunk driving is a serious problem. 金 酒驾是个严重的问题。 译 在美国人一样。 ← 完全跑偏

比 35 章那些“通顺但无关”的输出好多了,但还是错的多。

看注意力权重:最直观的诊断

这是注意力独有的好处——权重可以直接读出来,不用等 BLEU。

# 生成一个句子,同时把每步的 alpha 拿回来 def greedy_with_alpha(ids, mx=25): with torch.no_grad(): x = torch.tensor([ids]).to(device) sl = torch.tensor([len(ids)]) out, hn = model.encoder(x, sl) mask = (x != 0).float() st = hn.squeeze(0) w = torch.tensor([BOS]).to(device) words, alphas = [], [] for _ in range(mx): alpha = model.attention(st, out, mask) # (1, T) ctx = torch.bmm(alpha.unsqueeze(1), out).squeeze(1) lg, st = model.decoder.step(w, ctx, st) i = int(lg.argmax(-1)) if i == EOS: break words.append(i) alphas.append(alpha[0].cpu().numpy()) # 存下来 w = torch.tensor([i]).to(device) return words, alphas

实测的对齐

英 i can speak english. (5 个词) 译 我会讲英语。 第 1 个输出词「我」 → 主要看源位置 2 (0.629) 第 2 个输出词「会」 → 主要看源位置 3 (0.553) 第 3 个输出词「讲」 → 主要看源位置 4 (0.568)

这就是一条对角线

输出第 1 个词看源第 2 个,第 2 个看第 3 个,第 3 个看第 4 个—— 稳定地往后挪一格。

因为源句第 1 个词是 i(对应「我」), 但注意第 5 个词是句号 .,所以整体右移了一位。

模型自己学出了这个对齐,没有人告诉它。

也有对不齐的

英 drunk driving is a serious problem. 译 在美国人一样。 第 1 个输出词 → 看源位置 2 (0.884) 第 2 个输出词 → 看源位置 3 (0.367) 第 3 个输出词 → 看源位置 7 (0.284)

注意第 3 步的权重只有 0.284——没有明显偏好, 七个源词分得比较平均。

这是一个可以直接用的诊断信号

权重最大值高(0.8 以上)→ 模型知道该看哪里,通常翻得对。

权重最大值低(0.3 左右)→ 模型不知道看哪,通常翻错。

所以训练中盯着平均最大权重,比只看 BLEU 更早发现问题。

推理的三个必须

#

要做

不做会怎样

①

model.eval()

dropout 还开着,同一句每次结果不同

②

with torch.no_grad()

白建计算图,慢且占显存

③

从 <bos> 开始,遇 <eos> 停

没有起点或停不下来

还有一条容易忘:mask 也要用。推理时虽然只有一个样本, 但它的源句长度就是真实长度,没有 padding——不过为了和训练一致,仍然传进去。

这一课留下的三个数

数

值

含义

val ppl

11.26 → 8.74

降 22%

BLEU

21.22 → 28.63

升 35%

参数

+9.2%

只多了注意力那三个矩阵

下一课

习题:算注意力参数量、判断 mask 写错会怎样、看权重图判断对错。