训练和实测

这一课要回答的问题

前九课把 Transformer 讲完了。这一课跑一个公平对比: 在同样的数据、同样的参数量下,它到底比注意力 seq2seq 强多少?

先说数据

第 35–36 章用的是 cmn.txt,只有 29,155 对短句, 长句极少——拿它测不出架构差异。

这次换成真正的翻译数据集:

项

值

来源

AI Challenger 2017 中英翻译

总量

1000 万对(train.en 556 MB / train.zh 518 MB)

本次使用

前 40 万对,过滤后 379,821 训练

验证 / 测试

各 7,913

词表

源 24,203 / 目标 3,870(中文按字切)

英文中位 7 个词、中文中位 12 个字——比 cmn.txt 长得多, 而且有大量真实新闻句子。

为什么必须换数据

cmn.txt 里 95% 的句子在 16 字以内, 长句样本太少,任何架构都能记住。

想看出 Transformer 的差别,得先给它足够长、足够多的句子。

参数量必须先对齐

这是最容易被忽略、也最容易造出假结论的一步。

上一版实验里,Transformer 用了 6,445,607 个参数, 而 seq2seq 只有 3,876,647——多了 66%。 BLEU 高 10 个点,相当一部分是参数多带来的, 不是架构好。

这一版把两边压到同一量级:

模型

配置

参数

注意力 seq2seq

GRU 编码解码,embed 256,hidden 512

12,848,670

Transformer

d_model 256,8 头,2 层,ffn 1280

12,392,990

差距

3.5%

其余条件全部一致:同一份数据、同一个词表、同样的 batch、 一样的优化器和学习率、都是 5 轮。

训练曲线

轮

seq2seq val ppl

Transformer val ppl

1

19.15

20.86

2

15.05

16.87

3

13.74

15.04

4

13.29

14.02

5

13.18

13.36

两个都还在降,都欠训练

第 5 轮两边验证集 ppl 都还在往下走,没有收敛。

5 轮对 38 万对数据来说太少了。这个对比只能说明 「同样训练量下两者差不多」,不能说明上限。

而且有意思的是:前 4 轮 Transformer 一直落后, 第 5 轮才追平。

BLEU 结果

源句长度

句数

注意力 seq2seq

Transformer

1-5 词

96

23.91

25.35

6-8 词

150

19.52

20.92

9-12 词

125

15.73

15.35

13+ 词

29

14.33

14.19

整体

400

19.01

19.76

只领先 4%

19.76 vs 19.01,差距 0.75 个点。

上一版实验这个差距是 10.36 个点。 参数一对齐,差距缩到十分之一都不到。

那次的高分,主要是参数多,不是架构好。

分桶更有意思

短句上 Transformer 赢(25.35 vs 23.91、20.92 vs 19.52), 但长句上反而输(15.35 vs 15.73、14.19 vs 14.33)。

这和理论预期正好相反——Transformer 的卖点本该是长距离依赖。

可能的解释

说明

只有 2 层

路径长度 O(1) 的优势要堆深了才体现。论文用的是 6 层

训练不足

5 轮就停,Transformer 收敛本来就慢一些

长句样本仍偏少

13+ 桶只有 29 句

没有位置外推技巧

这里用的是最基础的正弦编码

一个意外发现:长度依赖本来就平缓

把两边的「最长桶 / 最短桶」算出来:

数据集

模型

13+ / 1-5

cmn.txt

无注意力 seq2seq

0.385

cmn.txt

有注意力 seq2seq

0.351

cmn.txt

Transformer(参数多 66%)

0.264

AI Challenger

注意力 seq2seq

0.599

AI Challenger

Transformer

0.560

这个对比推翻了第 36.8 课的结论

第 36.8 课用 cmn.txt 得出「句子越长 BLEU 越低,掉了 62%」, 并把它归因于 RNN 的结构瓶颈。

换成真实数据集后,同样的模型、同样的架构, 比值从 0.385 变成 0.599——长度依赖大幅缓解。

说明「越长越差」主要是数据分布造成的,不是架构的宿命。

这是个诚实的自我更正:第 36.8 课那个结论,在更大的数据上站不住。

看几个翻译

同一句,两个模型的输出:

英 he's young, compliant, said he might enjoy being in a book club 金 他年轻,温和,他说也许会喜欢书友会。 seq2seq 他年轻,年轻的,说他今晚会在一间俱乐部。 Transformer 他很年轻,他说可能在俱乐部。

看点

说明

seq2seq

「年轻的」重复了一次,club 译成「俱乐部」丢了 book

Transformer

更简洁,但整段「compliant」「book club」都没翻出来

结论

两个都不够好,这就是 19 分 BLEU 的水平

再一句:

英 nothing is planned without my approval. 金 一切计划都必须通过我的同意。 seq2seq 一点也不复存在我的身体里 ← 完全跑偏 Transformer 一切都没有我的资料。 ← 部分对上,但「资料」错了

为什么 BLEU 掉到 19 分

cmn.txt 上是 28–31 分,因为那是短句、常用词、句式固定。

这份数据是真实新闻,词汇量大 4 倍、句子长、还带大量专有名词, 19 分才是这个任务真实的难度。

分数下降不代表模型变差,是任务变难了。

这一课真正的收获

#

结论

①

比较架构必须对齐参数量。 不对齐的话,多 66% 参数能白赚 10 个 BLEU 点

②

数据规模决定能看出什么。 小数据上「越长越差」,换大数据就平了

③

论文的 6 层不是为了好看。 这里只有 2 层,Transformer 的优势没发挥出来

④

5 轮远远不够。 两个模型都还在降,谁的上限高还看不出来

一句话总结

在同等参数、同等训练量下, Transformer 只比注意力 seq2seq 好一点点(19.76 vs 19.01)。

它的真正优势——可并行、能堆深、能大规模扩展—— 在这个规模的实验里根本显现不出来。

这也解释了为什么 Transformer 是在大模型时代才彻底取代 RNN 的。

这一课留下的三个数

数

值

含义

参数量差

3.5%

12,848,670 vs 12,392,990

BLEU 差

+0.75

19.01 → 19.76

13+/1-5

0.599 / 0.560

比 cmn.txt 上平得多

下一课

训练完了。下一课讲推理—— 为什么线上部署要把编码器和解码器拆开,KV 缓存到底省了什么。