Transformer 的架构

接上一课那个问题

上一课问到:编码器和解码器都不用 RNN,全换成注意力,行不行?

先说结论:行。而且这么做出来的东西,就是 Transformer。

这一课只看整体——输入是什么、输出是什么、数据怎么在里流。 每一层里面具体做什么,这两课之后再拆。

换掉之后长什么样

把第 36 章那个带注意力的 seq2seq,和现在这个放在一起比:

上:第 36 章的 seq2seq + 注意力,编码器和解码器都是 RNN,靠箭头串联。下:同样的位置全换成 attention,横向的 RNN 链没有了,每个位置直接连到所有位置。图取自尚硅谷《大模型技术之 NLP》第 148 页。

看下半张图,四个变化:

位置

上半(seq2seq)

下半(Transformer)

编码器

RNN → RNN → RNN → RNN

四个 attention 并排

编码器内部连线

一条横线串起来

交叉的四条彩色线,每个都连到所有

解码器

RNN → RNN → RNN

三个 attention 并排

上下文向量

框在中间,单独一块

没有了,注意力直接连过去

最关键的一处

上半图里,h1h_1 到 h4h_4 是串行算出来的—— 第二个要等第一个。

下半图里,四个 attention 同时算。 每个位置的输出只看输入,不看别的输出。

这就是「顺序操作从 O(n) 变成 O(1)」的意思。

整体架构

左边 6 层编码器,右边 6 层解码器。左下是输入「我 喜 欢 你」,顶上是保留下来的 h1…h4。右边解码器画出了 4 个自回归步骤,每步上面是当前位置的输出词。图取自尚硅谷《大模型技术之 NLP》第 149 页。

这张图信息量很大,分五块看:

看哪

是什么

左下 x1…x4x_1 \dots x_4

输入:源句四个词的词向量

左边蓝色框

编码器:6 层,竖着往上走

顶上 h1…h4h_1 \dots h_4

编码结果:四个位置各一个向量,全保留

右下 y1…y4y_1 \dots y_4

输入的目标句:解码器的输入,从 <sos> 开始

右边绿色框

解码器:6 层,同样竖着往上走

输入是什么

源句「我 喜 欢 你」,四个词。每个词先变成向量:

我 → x1 (d 维) 喜 → x2 欢 → x3 你 → x4

四个词同时进编码器,没有先后。这一点和 RNN 的根本区别—— RNN 必须把 x1 送进去拿到 h1,才能送 x2。

但词向量里没有位置信息

光把四个词变成向量,模型不知道谁在前谁在后。

所以真实的 Transformer 会在这一步加一个位置编码。

尚硅谷这张图把这一层省掉了,画得简化。先记着有这么个东西, 具体怎么算留到后面单独讲。

编码是怎么生成的

编码器是6 个一模一样的层叠起来的。数据从下往上穿过去。

x1 x2 x3 x4 ↓ [Encoder Layer 1] ← 每个位置各自算,但会互相看 ↓ [Encoder Layer 2] ↓ [...] ↓ [Encoder Layer 6] ↓ h1 h2 h3 h4

每一层做什么?

粗说就是「重新整理一遍」: 每个位置都去看一眼其它所有位置,把有用的信息揉进自己。

比如「喜欢」这个位置,在这层里可能重点看了「我」和「你」, 于是它的表示就从「喜欢」变成了「我喜欢你」这样的信息。

6 层就是揉 6 遍,一遍比一遍抽象。

图上的竖线要看清

每一层上面画了四个向上的箭头,四个箭头互不相连。

意思是:四个位置同时进入这一层,也同时出来。

它们之间的交流发生在层内部(那张对比图里的交叉线), 而不是像 RNN 那样在层外面串起来。

编码结果交给谁

这是整张图里最容易看漏的地方——左上角那四条弧线。

h1…h4h_1 \dots h_4 从编码器顶上出来之后, 连到了解码器的每一层,不是只连最下面一层。

h1 h2 h3 h4 ├─────────────► Decoder Layer 1 ├─────────────► Decoder Layer 2 ├─────────────► ... └─────────────► Decoder Layer 6

每一层解码器都会重新拿一次编码器的全部输出。

这就是第 36 章那个注意力的作用

Q 来自解码器自己,K 和 V 来自编码器输出。

第 36.9 课讲的「编码器-解码器注意力」,在这里变成了一个固定部件, 每一层都装一个。

区别只是:那边 Q 来自 RNN 的隐状态,这里 Q 来自上一层解码器的输出。

解码是怎么生成的

图右边画了四个竖着的时间步:step1 到 step4。 这是同一个解码器跑了四遍。

步

喂进去的

算出的输出

step1

<sos>

I

step2

<sos> I

like

step3

<sos> I like

you

step4

<sos> I like you

<eos>

每跑一遍只多生成一个词,然后把它接到输入后面再跑一遍。 这就是自回归。

从图上看:step1 上方的绿色方块只有一个 z1z_1 是亮的, step2 是两个,step3 三个,step4 四个。

那为什么训练时不用跑四遍

训练时正确答案已经在手上了,四步可以一次算完—— 图里画的正是这种并行算法。

但每一步只许看它前面的词。所以图上有绿色的竖线分隔: z2z_2 那一列只能连到 y1y_1 和 y2y_2,看不到 y3y_3。

这就是掩码。不加它,训练时模型就偷看答案了。

一层里有什么(只点名)

先列清单,细节留给下一课:

编码器一层

解码器一层

子层 1

多头自注意力

掩蔽多头自注意力

子层 2

—

编码器-解码器注意力

子层 3

前馈网络

前馈网络

每个子层外面

残差 + 层规范化

残差 + 层规范化

解码器比编码器多一个子层,多出来的那个就是接收 hh 的入口。

残差那条约束值得先说一句

因为要用残差 x+sublayer(x)x + \mathrm{sublayer}(x), 两边维度必须一样。

所以所有子层的输入输出都被强制成同一个维度 dd。

这条约束决定了整张图里所有箭头的粗细都一样——没有变宽变窄的地方。

三种注意力各管什么

第 36 章学的三种形态,在这里全部用上了:

用在哪

Q

K / V

36 章哪一课

编码器自注意力

编码器本层输入

同一批

36.3 自注意力

解码器自注意力

解码器本层输入

同一批(但要掩码)

36.3 + 掩码

编码器-解码器注意力

解码器本层输入

编码器输出

36.5 跨注意力

前两个是自注意力(Q K V 同一来源), 第三个是跨注意力(Q 一边、K V 另一边)。

数一下规模

论文里那个 base 版:

项

值

dmodeld_{\text{model}}(所有子层统一维度)

512

层数

编码器 6 + 解码器 6

注意力头数

8

前馈网络隐层

2048

总参数

约 65M

对比第 36 章那个带注意力的 seq2seq:3.87M。

17 倍。多出来的几乎全在前馈网络和那 12 层堆叠上。

这一课留下的三个数

数

值

含义

层数

6 + 6

编码器和解码器各 6 层

解码器子层

3 个

比编码器多一个跨注意力

总参数

约 65M

是上一章模型的 17 倍

下一课

骨架看完了。下一课拆开编码器那一层—— 两个子层各自做什么、残差和层规范化怎么接。