seq2seq 的劣势
这一课在哪
第 35 章搭了 seq2seq,第 36 章给它加了注意力。效果从 BLEU 21.22 提到 28.63。
但骨架没换。这一课先把旧骨架的问题说透, 再问一个问题——那个问题直接通向下一章。
先回顾:seq2seq 差在哪
第 35 章量过。同一个模型,按源句长度分桶看 BLEU:
源句长度 | 不加注意力 | 加了注意力 |
|---|---|---|
1-5 词 | 25.79 | 33.83 |
6-8 词 | 18.65 | 25.55 |
9-12 词 | 13.72 | 21.24 |
13+ 词 | 9.92 | 11.86 |
无注意力 | 有注意力 | |
|---|---|---|
整体 BLEU | 21.22 | 28.63 |
最长桶 / 最短桶 | 0.38 | 0.35 |
注意力把水抬高了,但没改变形状
每一桶都涨了 7 个点左右,这是实打实的改善。
但「最长桶相对最短桶」这个比例,加了注意力反而更难看 (0.38 → 0.35)。
句子一长还是明显变差。说明有个东西一直没被解决。
为什么会这样
往下追一层,根子在循环。
① 必须一步一步来
第 1 个词 → h1 第 2 个词 → h2 (要等 h1 算完) 第 3 个词 → h3 (要等 h2 算完) ... 第 n 个词 → hn (要等 h(n-1) 算完)第 n 步必须等前面全部算完。这就是「顺序操作 O(n)」—— 时间上无法并行,n 个词就要 n 次串行。
② 信息只能沿着这条链往前爬
第 1 个词的信息要影响第 20 个词,必须穿过 19 次递推。
第 34.1 课算过梯度连乘:每步衰减一半,20 步只剩 。
前向传播也一样。信息每传一步就被 tanh 和权重矩阵揉一次, 传得越远越模糊。
所以「句子越长越差」不是巧合,是结构决定的
句子长 → 传递链长 → 衰减多 → 差。
这是 RNN 的宿命,加什么门都只是减缓。 LSTM 把衰减从 0.5 拉到 0.99,但仍然是连乘。
注意力帮了忙,但它加在解码器那一侧—— 编码器还是 RNN,还得一步步爬。
③ 一个向量装一整句
seq2seq 的编码器最后只交出一个 。 注意力把它救成了「一串 h 里现挑」,但挑的依据仍然是那个在 RNN 里爬过来的状态。
补丁打在出口,没打在传输线上。
注意力带来了什么
第 36 章那句话值得再读一遍:
注意力做到了三件 RNN 做不到的事
① 任意两个位置直接相连。 第 1 个词和第 50 个词之间一次点积,不经过任何中间步骤。
② 权重按需重算。 每一步问一次「现在该看哪些」,而不是拿一份固定的压缩包。
③ 所有位置能同时算。 注意力里没有「第 n 步等第 n-1 步」这回事。
而且 d2l 对它的定位很准确:
「这个新的基于注意力的模型与 seq2seq 中的模型相同,只不过上下文变量 在每个解码时间步都会被替换。」
这句话说明注意力当时只是个补丁
骨架还是编码器 RNN + 解码器 RNN, 注意力插在中间当「临时取货窗口」。
但既然注意力已经能干这三件事了……为什么还要留着 RNN?
那么问题来了
把注意力能做的事列出来:
能力 | RNN 靠什么 | 注意力靠什么 |
|---|---|---|
提取信息 | 一步步读,攒进 h | Q 和 K 打分,挑着取 V |
融合信息 | h 和 x 拼一起过 tanh | 按权重加权求和 |
记住顺序 | 顺序处理,天然有序 | 记不住(这是要解决的问题) |
跨距离传递 | 穿过 n 步递推 | 一步直达 |
前三行里,注意力在两行上更强,一行上有缺陷。
那直接问:编码器和解码器都不用 RNN,全换成注意力,行不行?
这一问就是下一章的起点
如果行,那就得到一个完全没有循环的模型:
编码器:一堆注意力层叠起来,同时处理整句。
解码器:一堆注意力层叠起来,加一个掩码保证不看未来。
没有「第 n 步等第 n-1 步」,整句一起算。
只剩那第三行没着落。先记着,后面会回来。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
BLEU(有注意力) | 28.63 | 补丁有效 |
最长桶 / 最短桶 | 0.35 | 形状没变 |
RNN 顺序操作 | 必须串行 |
下一课
有个模型真的这么干了——编码器和解码器全部由注意力堆成, 一个循环都没有。它叫 Transformer。