Transformer 的架构
接上一课那个问题
上一课问到:编码器和解码器都不用 RNN,全换成注意力,行不行?
先说结论:行。而且这么做出来的东西,就是 Transformer。
这一课只看整体——输入是什么、输出是什么、数据怎么在里流。 每一层里面具体做什么,这两课之后再拆。
换掉之后长什么样
把第 36 章那个带注意力的 seq2seq,和现在这个放在一起比:

看下半张图,四个变化:
位置 | 上半(seq2seq) | 下半(Transformer) |
|---|---|---|
编码器 |
| 四个 attention 并排 |
编码器内部连线 | 一条横线串起来 | 交叉的四条彩色线,每个都连到所有 |
解码器 |
| 三个 attention 并排 |
上下文向量 | 框在中间,单独一块 | 没有了,注意力直接连过去 |
最关键的一处
上半图里, 到 是串行算出来的—— 第二个要等第一个。
下半图里,四个 attention 同时算。 每个位置的输出只看输入,不看别的输出。
这就是「顺序操作从 O(n) 变成 O(1)」的意思。
整体架构

这张图信息量很大,分五块看:
看哪 | 是什么 |
|---|---|
左下 | 输入:源句四个词的词向量 |
左边蓝色框 | 编码器:6 层,竖着往上走 |
顶上 | 编码结果:四个位置各一个向量,全保留 |
右下 | 输入的目标句:解码器的输入,从 |
右边绿色框 | 解码器:6 层,同样竖着往上走 |
输入是什么
源句「我 喜 欢 你」,四个词。每个词先变成向量:
我 → x1 (d 维) 喜 → x2 欢 → x3 你 → x4四个词同时进编码器,没有先后。这一点和 RNN 的根本区别—— RNN 必须把 x1 送进去拿到 h1,才能送 x2。
但词向量里没有位置信息
光把四个词变成向量,模型不知道谁在前谁在后。
所以真实的 Transformer 会在这一步加一个位置编码。
尚硅谷这张图把这一层省掉了,画得简化。先记着有这么个东西, 具体怎么算留到后面单独讲。
编码是怎么生成的
编码器是6 个一模一样的层叠起来的。数据从下往上穿过去。
x1 x2 x3 x4 ↓ [Encoder Layer 1] ← 每个位置各自算,但会互相看 ↓ [Encoder Layer 2] ↓ [...] ↓ [Encoder Layer 6] ↓ h1 h2 h3 h4每一层做什么?
粗说就是「重新整理一遍」: 每个位置都去看一眼其它所有位置,把有用的信息揉进自己。
比如「喜欢」这个位置,在这层里可能重点看了「我」和「你」, 于是它的表示就从「喜欢」变成了「我喜欢你」这样的信息。
6 层就是揉 6 遍,一遍比一遍抽象。
图上的竖线要看清
每一层上面画了四个向上的箭头,四个箭头互不相连。
意思是:四个位置同时进入这一层,也同时出来。
它们之间的交流发生在层内部(那张对比图里的交叉线), 而不是像 RNN 那样在层外面串起来。
编码结果交给谁
这是整张图里最容易看漏的地方——左上角那四条弧线。
从编码器顶上出来之后, 连到了解码器的每一层,不是只连最下面一层。
h1 h2 h3 h4 ├─────────────► Decoder Layer 1 ├─────────────► Decoder Layer 2 ├─────────────► ... └─────────────► Decoder Layer 6每一层解码器都会重新拿一次编码器的全部输出。
这就是第 36 章那个注意力的作用
Q 来自解码器自己,K 和 V 来自编码器输出。
第 36.9 课讲的「编码器-解码器注意力」,在这里变成了一个固定部件, 每一层都装一个。
区别只是:那边 Q 来自 RNN 的隐状态,这里 Q 来自上一层解码器的输出。
解码是怎么生成的
图右边画了四个竖着的时间步:step1 到 step4。 这是同一个解码器跑了四遍。
步 | 喂进去的 | 算出的输出 |
|---|---|---|
|
| I |
|
| like |
|
| you |
|
| <eos> |
每跑一遍只多生成一个词,然后把它接到输入后面再跑一遍。 这就是自回归。
从图上看:step1 上方的绿色方块只有一个 是亮的, step2 是两个,step3 三个,step4 四个。
那为什么训练时不用跑四遍
训练时正确答案已经在手上了,四步可以一次算完—— 图里画的正是这种并行算法。
但每一步只许看它前面的词。所以图上有绿色的竖线分隔: 那一列只能连到 和 ,看不到 。
这就是掩码。不加它,训练时模型就偷看答案了。
一层里有什么(只点名)
先列清单,细节留给下一课:
编码器一层 | 解码器一层 | |
|---|---|---|
子层 1 | 多头自注意力 | 掩蔽多头自注意力 |
子层 2 | — | 编码器-解码器注意力 |
子层 3 | 前馈网络 | 前馈网络 |
每个子层外面 | 残差 + 层规范化 | 残差 + 层规范化 |
解码器比编码器多一个子层,多出来的那个就是接收 的入口。
残差那条约束值得先说一句
因为要用残差 , 两边维度必须一样。
所以所有子层的输入输出都被强制成同一个维度 。
这条约束决定了整张图里所有箭头的粗细都一样——没有变宽变窄的地方。
三种注意力各管什么
第 36 章学的三种形态,在这里全部用上了:
用在哪 | Q | K / V | 36 章哪一课 |
|---|---|---|---|
编码器自注意力 | 编码器本层输入 | 同一批 | 36.3 自注意力 |
解码器自注意力 | 解码器本层输入 | 同一批(但要掩码) | 36.3 + 掩码 |
编码器-解码器注意力 | 解码器本层输入 | 编码器输出 | 36.5 跨注意力 |
前两个是自注意力(Q K V 同一来源), 第三个是跨注意力(Q 一边、K V 另一边)。
数一下规模
论文里那个 base 版:
项 | 值 |
|---|---|
(所有子层统一维度) | 512 |
层数 | 编码器 6 + 解码器 6 |
注意力头数 | 8 |
前馈网络隐层 | 2048 |
总参数 | 约 65M |
对比第 36 章那个带注意力的 seq2seq:3.87M。
17 倍。多出来的几乎全在前馈网络和那 12 层堆叠上。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
层数 | 6 + 6 | 编码器和解码器各 6 层 |
解码器子层 | 3 个 | 比编码器多一个跨注意力 |
总参数 | 约 65M | 是上一章模型的 17 倍 |
下一课
骨架看完了。下一课拆开编码器那一层—— 两个子层各自做什么、残差和层规范化怎么接。