seq2seq 的缺陷在哪里
这一课在哪
第 35 章搭了一个 seq2seq,测试集 BLEU 7.23。
这一课把它到底缺什么量出来——不是靠感觉说「效果不好」。
先看它是怎么传信息的
编码器读完 10 个词 → 最后只剩 h (256 个数) → 解码器从这里开始回想第 35.2 课那个决定:编码器的 out (每一步的输出)全部丢掉,只把最后的 交给解码器。
这就是唯一的传输通道
10 个词的全部信息,必须挤进 256 个数。
而且第 1 个词的信息还要穿过 10 步的 GRU 递推才到这里。
第 34.1 课算过:RNN 的梯度 20 步就衰减到 1e-6。前向传播的信息也一样在衰减。
量一下:句子越长越差吗
如果瓶颈是真的,句子越长,BLEU 应该越低。
拿第 35 章那个模型,在测试集上按源句长度分桶:
import math from collections import Counter, defaultdict buckets = defaultdict(list) for src, ref in test_pairs[:400]: hyp = greedy_decode(model, encode_src(src)) length = len(src) if length <= 5: key = "1-5" elif length <= 8: key = "6-8" elif length <= 12: key = "9-12" else: key = "13+" buckets[key].append(bleu(hyp, ref))按源句长度分桶(贪心,400 句) 1-5 174 句 BLEU 25.79 6-8 186 句 BLEU 18.65 9-12 36 句 BLEU 13.72 13+ 4 句 BLEU 9.92源句长度 | 句数 | BLEU | 相对最短桶 |
|---|---|---|---|
1-5 词 | 174 | 25.79 | 1× |
6-8 词 | 186 | 18.65 | 0.72× |
9-12 词 | 36 | 13.72 | 0.53× |
13+ 词 | 4 | 9.92 | 0.38× |
单调下降,掉了 62%
句子越长,BLEU 越低,一路降到最短句的 38%。
这不是噪声。四档全在下降,方向完全一致。
如果是「模型不会翻译」这种笼统的原因,各档应该一样差。 现在有明确的长度依赖,说明问题出在信息传递上。
注意 13+ 只有 4 句
这个数据集里长句很少(第 35.1 课看过:95% 在 16 字以内)。
4 句的 BLEU 只能参考,但趋势和其他三档一致。
三个缺陷
① 瓶颈:一个定长向量装变长句子
句子长度可以差 10 倍,但 的维度是固定的 256。
短句装得下,长句必然丢。
一个直观的算法:
h 有 256 个数 一句 5 个词 → 每词约 51 个数 宽裕 一句 20 个词 → 每词约 13 个数 紧张 一句 50 个词 → 每词约 5 个数 装不下② 无法对齐:解码器不知道看哪个词
翻译第 3 个中文词时,最该参考的是英文的第几个词?
人知道「不 ↔ don't」。但 seq2seq 的解码器完全不知道—— 它手上只有一团 256 个数的模糊印象。
这一条比瓶颈更根本
瓶颈说的是「信息不够」。这一条说的是 「信息在,但没法按需取」。
就算你把 加到 2048 维,解码器仍然不知道 「现在该看第 2 个词还是第 8 个词」。
③ 前几步全押在一个起点上
解码器生成第 1 个词时,只有一个 可用。
如果这个 对开头的信息没记住(长句时很常见), 整句从第一个词就开始错,而 teacher forcing 训练时它从没遇过这种情形。
那要怎么办
三个缺陷指向同一个要求: 解码器每一步都应该能重新拿一次编码器的信息。
现在 | 想要 |
|---|---|
编码器只给出 1 个 | 每一步的 全留着 |
解码器只有一张模糊印象 | 每一步现算一次「该看哪些 」 |
做不到这两个 | 这正是注意力能做的事 |
注意「每一步现算一次」这个要求——它不是查表,是按当前情况动态加权。
这就是 36.1 讲的那个机制:Q 变了,权重就变。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
1-5 词 BLEU | 25.79 | 短句还能看 |
13+ 词 BLEU | 9.92 | 只有 38% |
的维度 | 256 | 整句唯一出口 |
下一课
这一章最重要的一课。
把注意力插进 seq2seq——怎么插、插在哪、加完之后计算路径变成什么样, 配架构图讲清楚。