评估与推理验证
这一课在哪
模型写完了。这一课真训一遍,然后和 35 章那个无注意力版逐项对比。
对比必须公平——同一份数据、同一套超参、同一个评估脚本。
训练:同样的条件
项 | 值 |
|---|---|
数据 | 25,947 训练 / 1,442 验证 / 1,442 测试 |
词表 | 源 6,083 / 目标 2,343 |
embed / hidden | 256 / 256 |
优化器 | Adam,lr 2e-3,3 轮不降减半 |
梯度裁剪 | 1.0 |
轮数 | 20(取验证最优那一轮) |
两条曲线
无注意力 有注意力 轮 train val ppl train val ppl 1 3.9763 3.2316 25.32 3.9263 3.1197 22.64 2 2.8777 2.8183 16.75 2.6902 2.5981 13.44 3 2.3871 2.6204 13.74 2.1359 2.3549 10.54 4 2.0695 2.5103 12.31 1.7414 2.2311 9.31 5 1.8776 2.4591 11.69 1.4326 2.1718 8.77 6 1.6733 2.4361 11.43 1.1863 2.1678 8.74 ← 最优 7 1.4939 2.4215 11.26 0.9886 2.1839 8.88 8 1.3390 2.4374 11.44 0.8248 2.1934 8.97无注意力 | 有注意力 | |
|---|---|---|
最优 val ppl | 11.26(第 7 轮) | 8.74(第 6 轮) |
相对 | 1× | 0.78× |
参数量 | 3,548,711 | 3,876,647(+9.2%) |
第一轮就差 2.7 个 ppl
第 1 轮:22.64 vs 25.32。还没有充分训练,差距就已经出现。
这说明注意力不是靠更多训练换来的, 是结构本身给了它更好的信息通路。
和 34.7 课那个「LSTM 第一轮就领先 13 个点」是同一个现象。
BLEU:同一脚本、同样 400 句
def greedy(ids, mx=25): with torch.no_grad(): x = torch.tensor([ids]).to(device) sl = torch.tensor([len(ids)]) _, hn = model.enc(x, sl) st = hn.squeeze(0) w = torch.tensor([BOS]).to(device) out = [] for _ in range(mx): lg, st = model.dec.step(w, st) # 无注意力版 # 有注意力版:先算 alpha 和 context 再 step i = int(lg.argmax(-1)) if i == EOS: break out.append(i) w = torch.tensor([i]).to(device) return out源句长度 | 句数 | 无注意力 | 有注意力 | 提升 |
|---|---|---|---|---|
1-5 词 | 174 | 25.79 | 33.83 | +8.04 |
6-8 词 | 186 | 18.65 | 25.55 | +6.90 |
9-12 词 | 36 | 13.72 | 21.24 | +7.52 |
13+ 词 | 4 | 9.92 | 11.86 | +1.94 |
整体 | 400 | 21.22 | 28.63 | +7.41 |
整体从 21.22 提到 28.63
提升 35%。而参数量只多了 9.2%。
三个桶都涨了 7 个点左右,幅度相当一致。
这说明注意力不是「只对某种长度有效」,是普遍改善。
但要老实说:瓶颈没有消失
看提升之后的形状,还是单调下降的:
长度 | 有注意力 BLEU | 相对 1-5 词 |
|---|---|---|
1-5 词 | 33.83 | 1× |
6-8 词 | 25.55 | 0.76× |
9-12 词 | 21.24 | 0.63× |
13+ 词 | 11.86 | 0.35× |
注意力缓解了瓶颈,但没消除它
35.8 课那个无注意力版,从最短桶到最长桶掉了 62%(25.79 → 9.92)。
加了注意力之后掉了 65%(33.83 → 11.86)——比例上没好转。
但绝对值整体抬高了 7 个点。所以准确的说法是: 注意力让所有长度都变好,但没有专门解决「长句更难」这件事。
这正是第 37 章 Transformer 要接着做的——它完全不经过循环, 任意两个位置直接相连,「长度」不再是一个天然劣势。
看几个翻译结果
英 i can speak english. 金 我会讲英语。 译 我会讲英语。 ← 完全正确 英 how is your family? 金 你家里人都还好吗? 译 你的家庭是怎么样? ← 意思基本对,不够地道 英 my wife wants to adopt a child. 金 我妻子想收养一个孩子。 译 我的老婆要想出孩子。 ← 主语和张冠李戴 英 tell tom i need to borrow his car. 金 告诉汤姆我需要借他的车。 译 告诉我要去看他的车。 ← 漏了「汤姆」 英 drunk driving is a serious problem. 金 酒驾是个严重的问题。 译 在美国人一样。 ← 完全跑偏比 35 章那些“通顺但无关”的输出好多了,但还是错的多。
看注意力权重:最直观的诊断
这是注意力独有的好处——权重可以直接读出来,不用等 BLEU。
# 生成一个句子,同时把每步的 alpha 拿回来 def greedy_with_alpha(ids, mx=25): with torch.no_grad(): x = torch.tensor([ids]).to(device) sl = torch.tensor([len(ids)]) out, hn = model.encoder(x, sl) mask = (x != 0).float() st = hn.squeeze(0) w = torch.tensor([BOS]).to(device) words, alphas = [], [] for _ in range(mx): alpha = model.attention(st, out, mask) # (1, T) ctx = torch.bmm(alpha.unsqueeze(1), out).squeeze(1) lg, st = model.decoder.step(w, ctx, st) i = int(lg.argmax(-1)) if i == EOS: break words.append(i) alphas.append(alpha[0].cpu().numpy()) # 存下来 w = torch.tensor([i]).to(device) return words, alphas实测的对齐
英 i can speak english. (5 个词) 译 我会讲英语。 第 1 个输出词「我」 → 主要看源位置 2 (0.629) 第 2 个输出词「会」 → 主要看源位置 3 (0.553) 第 3 个输出词「讲」 → 主要看源位置 4 (0.568)这就是一条对角线
输出第 1 个词看源第 2 个,第 2 个看第 3 个,第 3 个看第 4 个—— 稳定地往后挪一格。
因为源句第 1 个词是 i(对应「我」), 但注意第 5 个词是句号 .,所以整体右移了一位。
模型自己学出了这个对齐,没有人告诉它。
也有对不齐的
英 drunk driving is a serious problem. 译 在美国人一样。 第 1 个输出词 → 看源位置 2 (0.884) 第 2 个输出词 → 看源位置 3 (0.367) 第 3 个输出词 → 看源位置 7 (0.284)注意第 3 步的权重只有 0.284——没有明显偏好, 七个源词分得比较平均。
这是一个可以直接用的诊断信号
权重最大值高(0.8 以上)→ 模型知道该看哪里,通常翻得对。
权重最大值低(0.3 左右)→ 模型不知道看哪,通常翻错。
所以训练中盯着平均最大权重,比只看 BLEU 更早发现问题。
推理的三个必须
# | 要做 | 不做会怎样 |
|---|---|---|
① |
| dropout 还开着,同一句每次结果不同 |
② |
| 白建计算图,慢且占显存 |
③ | 从 | 没有起点或停不下来 |
还有一条容易忘:mask 也要用。推理时虽然只有一个样本, 但它的源句长度就是真实长度,没有 padding——不过为了和训练一致,仍然传进去。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
val ppl | 11.26 → 8.74 | 降 22% |
BLEU | 21.22 → 28.63 | 升 35% |
参数 | +9.2% | 只多了注意力那三个矩阵 |
下一课
习题:算注意力参数量、判断 mask 写错会怎样、看权重图判断对错。