seq2seq 的缺陷在哪里

这一课在哪

第 35 章搭了一个 seq2seq,测试集 BLEU 7.23。

这一课把它到底缺什么量出来——不是靠感觉说「效果不好」。

先看它是怎么传信息的

编码器读完 10 个词 → 最后只剩 h (256 个数) → 解码器从这里开始

回想第 35.2 课那个决定:编码器的 out (每一步的输出)全部丢掉,只把最后的 hh 交给解码器。

这就是唯一的传输通道

10 个词的全部信息,必须挤进 256 个数。

而且第 1 个词的信息还要穿过 10 步的 GRU 递推才到这里。

第 34.1 课算过:RNN 的梯度 20 步就衰减到 1e-6。前向传播的信息也一样在衰减。

量一下:句子越长越差吗

如果瓶颈是真的,句子越长,BLEU 应该越低。

拿第 35 章那个模型,在测试集上按源句长度分桶:

import math from collections import Counter, defaultdict buckets = defaultdict(list) for src, ref in test_pairs[:400]: hyp = greedy_decode(model, encode_src(src)) length = len(src) if length <= 5: key = "1-5" elif length <= 8: key = "6-8" elif length <= 12: key = "9-12" else: key = "13+" buckets[key].append(bleu(hyp, ref))
按源句长度分桶(贪心,400 句) 1-5 174 句 BLEU 25.79 6-8 186 句 BLEU 18.65 9-12 36 句 BLEU 13.72 13+ 4 句 BLEU 9.92

源句长度

句数

BLEU

相对最短桶

1-5 词

174

25.79

1×

6-8 词

186

18.65

0.72×

9-12 词

36

13.72

0.53×

13+ 词

4

9.92

0.38×

单调下降,掉了 62%

句子越长,BLEU 越低,一路降到最短句的 38%。

这不是噪声。四档全在下降,方向完全一致。

如果是「模型不会翻译」这种笼统的原因,各档应该一样差。 现在有明确的长度依赖,说明问题出在信息传递上。

注意 13+ 只有 4 句

这个数据集里长句很少(第 35.1 课看过:95% 在 16 字以内)。

4 句的 BLEU 只能参考,但趋势和其他三档一致。

三个缺陷

① 瓶颈:一个定长向量装变长句子

句子长度可以差 10 倍,但 hh 的维度是固定的 256。

短句装得下,长句必然丢。

一个直观的算法:

h 有 256 个数 一句 5 个词 → 每词约 51 个数 宽裕 一句 20 个词 → 每词约 13 个数 紧张 一句 50 个词 → 每词约 5 个数 装不下

② 无法对齐:解码器不知道看哪个词

翻译第 3 个中文词时,最该参考的是英文的第几个词?

人知道「不 ↔ don't」。但 seq2seq 的解码器完全不知道—— 它手上只有一团 256 个数的模糊印象。

这一条比瓶颈更根本

瓶颈说的是「信息不够」。这一条说的是 「信息在,但没法按需取」。

就算你把 hh 加到 2048 维,解码器仍然不知道 「现在该看第 2 个词还是第 8 个词」。

③ 前几步全押在一个起点上

解码器生成第 1 个词时,只有一个 hh 可用。

如果这个 hh 对开头的信息没记住(长句时很常见), 整句从第一个词就开始错,而 teacher forcing 训练时它从没遇过这种情形。

那要怎么办

三个缺陷指向同一个要求: 解码器每一步都应该能重新拿一次编码器的信息。

现在

想要

编码器只给出 1 个 hh

每一步的 hih_i 全留着

解码器只有一张模糊印象

每一步现算一次「该看哪些 hih_i」

做不到这两个

这正是注意力能做的事

注意「每一步现算一次」这个要求——它不是查表,是按当前情况动态加权。

这就是 36.1 讲的那个机制:Q 变了,权重就变。

这一课留下的三个数

数

值

含义

1-5 词 BLEU

25.79

短句还能看

13+ 词 BLEU

9.92

只有 38%

hh 的维度

256

整句唯一出口

下一课

这一章最重要的一课。

把注意力插进 seq2seq——怎么插、插在哪、加完之后计算路径变成什么样, 配架构图讲清楚。