训练和实测
这一课要回答的问题
前九课把 Transformer 讲完了。这一课跑一个公平对比: 在同样的数据、同样的参数量下,它到底比注意力 seq2seq 强多少?
先说数据
第 35–36 章用的是 cmn.txt,只有 29,155 对短句, 长句极少——拿它测不出架构差异。
这次换成真正的翻译数据集:
项 | 值 |
|---|---|
来源 | AI Challenger 2017 中英翻译 |
总量 | 1000 万对(train.en 556 MB / train.zh 518 MB) |
本次使用 | 前 40 万对,过滤后 379,821 训练 |
验证 / 测试 | 各 7,913 |
词表 | 源 24,203 / 目标 3,870(中文按字切) |
英文中位 7 个词、中文中位 12 个字——比 cmn.txt 长得多, 而且有大量真实新闻句子。
为什么必须换数据
cmn.txt 里 95% 的句子在 16 字以内, 长句样本太少,任何架构都能记住。
想看出 Transformer 的差别,得先给它足够长、足够多的句子。
参数量必须先对齐
这是最容易被忽略、也最容易造出假结论的一步。
上一版实验里,Transformer 用了 6,445,607 个参数, 而 seq2seq 只有 3,876,647——多了 66%。 BLEU 高 10 个点,相当一部分是参数多带来的, 不是架构好。
这一版把两边压到同一量级:
模型 | 配置 | 参数 |
|---|---|---|
注意力 seq2seq | GRU 编码解码,embed 256,hidden 512 | 12,848,670 |
Transformer | d_model 256,8 头,2 层,ffn 1280 | 12,392,990 |
差距 | 3.5% |
其余条件全部一致:同一份数据、同一个词表、同样的 batch、 一样的优化器和学习率、都是 5 轮。
训练曲线
轮 | seq2seq val ppl | Transformer val ppl |
|---|---|---|
1 | 19.15 | 20.86 |
2 | 15.05 | 16.87 |
3 | 13.74 | 15.04 |
4 | 13.29 | 14.02 |
5 | 13.18 | 13.36 |
两个都还在降,都欠训练
第 5 轮两边验证集 ppl 都还在往下走,没有收敛。
5 轮对 38 万对数据来说太少了。这个对比只能说明 「同样训练量下两者差不多」,不能说明上限。
而且有意思的是:前 4 轮 Transformer 一直落后, 第 5 轮才追平。
BLEU 结果
源句长度 | 句数 | 注意力 seq2seq | Transformer |
|---|---|---|---|
1-5 词 | 96 | 23.91 | 25.35 |
6-8 词 | 150 | 19.52 | 20.92 |
9-12 词 | 125 | 15.73 | 15.35 |
13+ 词 | 29 | 14.33 | 14.19 |
整体 | 400 | 19.01 | 19.76 |
只领先 4%
19.76 vs 19.01,差距 0.75 个点。
上一版实验这个差距是 10.36 个点。 参数一对齐,差距缩到十分之一都不到。
那次的高分,主要是参数多,不是架构好。
分桶更有意思
短句上 Transformer 赢(25.35 vs 23.91、20.92 vs 19.52), 但长句上反而输(15.35 vs 15.73、14.19 vs 14.33)。
这和理论预期正好相反——Transformer 的卖点本该是长距离依赖。
可能的解释 | 说明 |
|---|---|
只有 2 层 | 路径长度 O(1) 的优势要堆深了才体现。论文用的是 6 层 |
训练不足 | 5 轮就停,Transformer 收敛本来就慢一些 |
长句样本仍偏少 | 13+ 桶只有 29 句 |
没有位置外推技巧 | 这里用的是最基础的正弦编码 |
一个意外发现:长度依赖本来就平缓
把两边的「最长桶 / 最短桶」算出来:
数据集 | 模型 | 13+ / 1-5 |
|---|---|---|
cmn.txt | 无注意力 seq2seq | 0.385 |
cmn.txt | 有注意力 seq2seq | 0.351 |
cmn.txt | Transformer(参数多 66%) | 0.264 |
AI Challenger | 注意力 seq2seq | 0.599 |
AI Challenger | Transformer | 0.560 |
这个对比推翻了第 36.8 课的结论
第 36.8 课用 cmn.txt 得出「句子越长 BLEU 越低,掉了 62%」, 并把它归因于 RNN 的结构瓶颈。
换成真实数据集后,同样的模型、同样的架构, 比值从 0.385 变成 0.599——长度依赖大幅缓解。
说明「越长越差」主要是数据分布造成的,不是架构的宿命。
这是个诚实的自我更正:第 36.8 课那个结论,在更大的数据上站不住。
看几个翻译
同一句,两个模型的输出:
英 he's young, compliant, said he might enjoy being in a book club 金 他年轻,温和,他说也许会喜欢书友会。 seq2seq 他年轻,年轻的,说他今晚会在一间俱乐部。 Transformer 他很年轻,他说可能在俱乐部。看点 | 说明 |
|---|---|
seq2seq | 「年轻的」重复了一次,club 译成「俱乐部」丢了 book |
Transformer | 更简洁,但整段「compliant」「book club」都没翻出来 |
结论 | 两个都不够好,这就是 19 分 BLEU 的水平 |
再一句:
英 nothing is planned without my approval. 金 一切计划都必须通过我的同意。 seq2seq 一点也不复存在我的身体里 ← 完全跑偏 Transformer 一切都没有我的资料。 ← 部分对上,但「资料」错了为什么 BLEU 掉到 19 分
cmn.txt 上是 28–31 分,因为那是短句、常用词、句式固定。
这份数据是真实新闻,词汇量大 4 倍、句子长、还带大量专有名词, 19 分才是这个任务真实的难度。
分数下降不代表模型变差,是任务变难了。
这一课真正的收获
# | 结论 |
|---|---|
① | 比较架构必须对齐参数量。 不对齐的话,多 66% 参数能白赚 10 个 BLEU 点 |
② | 数据规模决定能看出什么。 小数据上「越长越差」,换大数据就平了 |
③ | 论文的 6 层不是为了好看。 这里只有 2 层,Transformer 的优势没发挥出来 |
④ | 5 轮远远不够。 两个模型都还在降,谁的上限高还看不出来 |
一句话总结
在同等参数、同等训练量下, Transformer 只比注意力 seq2seq 好一点点(19.76 vs 19.01)。
它的真正优势——可并行、能堆深、能大规模扩展—— 在这个规模的实验里根本显现不出来。
这也解释了为什么 Transformer 是在大模型时代才彻底取代 RNN 的。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
参数量差 | 3.5% | 12,848,670 vs 12,392,990 |
BLEU 差 | +0.75 | 19.01 → 19.76 |
13+/1-5 | 0.599 / 0.560 | 比 cmn.txt 上平得多 |
下一课
训练完了。下一课讲推理—— 为什么线上部署要把编码器和解码器拆开,KV 缓存到底省了什么。