注意力是什么

这一课在哪

前面 35 章,我们一直在用 RNN:一个 h 从前往后传。

这一章换一个完全不同的机制。它不属于 RNN,也不属于 CNN—— 它是独立的一层,可以插在任何地方。

后面你会看到:它先被用来救 seq2seq,然后变成了 Transformer 的唯一核心。

但这一课完全不提 seq2seq。先把注意力本身讲清楚。

先说「注意力」这个词

人的注意力是稀缺的——你此刻在读这一页, 就忽略了旁边的其他窗口。

但环境的信息太多了:

人类视觉神经系统 每秒约 10^8 位信息 大脑能完全处理的 远低于这个数

所以大脑必须只挑一小部分处理。

这就是注意力算法在做的事

从一堆输入里,挑出一小部分重点处理,其余的只给很少的权重。

「挑」这个动作在数学上就是加权—— 重要的给大权重,不重要的给小权重。

这一章所有的公式,都是在算那组权重怎么来。

人是怎么挑的:两种提示

想象桌上放着五样东西:

一份报纸、一篇论文、一杯咖啡、一本笔记本、一本书

所有纸制品都是黑白的,只有咖啡杯是红色的。

你的目光会不由自主被咖啡杯吸走——这叫非自主提示。

喝完咖啡,你想读书了。这时候你主动在桌上找书—— 这叫自主提示。

提示

从哪来

例子

非自主提示

物体自身的突出性

红色的咖啡杯

自主提示

你想找什么

想读书

这两个词就是 Q 和 K 的由来

自主提示 = 查询(query,Q)——你要找什么。

非自主提示 = 键(key,K)——每个东西自带的「显眼程度」。

被取走的内容 = 值(value,V)——那个东西本身。

换成算法的话说

场景:你手里有一个问题,面前有一堆候选, 每个候选带着一块内容。

角色

是什么

形状

Q(query)

你要找的东西

(n, d)

K(key)

每个候选的「标签」,用来和 Q 比对

(m, d)

V(value)

每个候选的「内容」,比对完了取这个

(m, v)

注意 n 和 m 可以不一样——问题可以是一个, 候选可以有一百个。这是注意力的一个关键能力。

三步走

注意力做的就三件事:

① 每个 Q 和每个 K 比一比 → 得到分数矩阵 (n × m) ② 分数变成权重(加起来等于 1) ③ 用权重去加权求和 V → 得到输出 (n × v)

写成公式:

Attention(Q,K,V)=softmax ⁣(QK⊤d)V\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d}}\right)V

逐个符号对上刚才那三步:

符号

是什么

对应哪步

QK⊤QK^{\top}

每对 Q 和 K 的点积

① 比一比

/d/\sqrt{d}

缩放

(下一课专门讲)

softmax\mathrm{softmax}

每行变成概率,和为 1

② 变权重

⋯V\cdots V

用权重乘 V 再求和

③ 取内容

为什么是点积

点积衡量两个向量的相似程度:方向越接近,点积越大。

所以 Qq⋅KkQ_q \cdot K_k 大, 说明第 q 个问题和第 k 个候选很配。

这也意味着 Q 和 K 的维度必须一样(都是 d),否则点积算不了。

它到底能干什么

四件事,按「和前面的章节有多不一样」排:

#

能力

和 RNN/CNN 比

①

变长输入压成长度可变输出

RNN 只能压成一个固定向量

②

任意两步直接相连

RNN 要传 n 步,CNN 要堆很多层

③

权重可以看

RNN 的 h 里是什么,看不出来

④

所有位置能并行算

RNN 必须一步一步来

② 和 ④ 是最要命的两条

第 34.1 课算过:RNN 的梯度要穿过 nn 次连乘, 20 步之后只剩 1e-6。

注意力没有「步」这个概念—— 第 1 个词和第 50 个词之间直接算一次点积,中间不经过任何传递。

这是注意力的根本优势

路径长度永远是 1。

不管是第 2 个词还是第 100 个词,Q 和 K 之间都是一次乘法。 梯度不会因为距离远而衰减。

同时所有位置一起算——这正好是 GPU 最擅长的。

它和普通加权有什么区别

「加权求和」本身很平常,CNN 的池化就是加权求和。

差别只有一个:

权重从哪来

普通池化

固定(平均池化就是全 1/n)

全连接层

权重是训练出来的参数,和输入无关

注意力

权重由输入算出来——每个 Q 得到的权重都不一样

这就是「自主提示」的算法含义

全连接层的权重是死的:不管来什么问题,用的都是同一组权重。

注意力的权重是活的:来了一个「想找书」的 query, 书本拿高权重、咖啡杯拿低权重;换一个「想喝东西」的 query,反过来。

「是否包含自主性提示」把注意力和全连接层区别开。

先跑一个最小的例子

不算矩阵,就看一个 query 怎么挑。

import torch import torch.nn.functional as F # 三个候选的 key(2 维,方便看) K = torch.tensor([ [1.0, 0.0], # 候选 A [0.0, 1.0], # 候选 B [0.9, 0.1], # 候选 C(和 A 很像) ]) # 三个候选的 value V = torch.tensor([ [10.0], # A 的内容 [20.0], # B 的内容 [30.0], # C 的内容 ]) # 一个 query:想问「像 A 那样的」 q = torch.tensor([1.0, 0.1]) scores = q @ K.T print(scores) # tensor([1.0000, 0.1000, 0.9100])

三个分数:A 最高(1.0),C 次之(0.91),B 最低(0.1)。

weights = F.softmax(scores, dim=-1) print(weights) # tensor([0.4309, 0.1752, 0.3939]) → 和为 1 output = weights @ V print(output) # tensor([19.6300])

候选

key

分数

权重

value

A

[1.0, 0.0]

1.00

0.431

10

B

[0.0, 1.0]

0.10

0.175

20

C

[0.9, 0.1]

0.91

0.394

30

输出 19.63 是三个 value 的加权平均: 0.431×10 + 0.175×20 + 0.394×30 = 19.63。

这个结果说明了什么

query 说「我想找像 A 那样的」,于是 A 和 C(和 A 很像)拿到高权重, B 只拿到 0.175。

但注意:输出不是 A 的 value(10),而是 19.63。

注意力不是「选一个」,是「按比例混合」。 B 虽然不配,但仍贡献了 17.5%。

换一个问题,输出就变

q2 = torch.tensor([0.1, 1.0]) # 这次想找「像 B 那样的」 w2 = F.softmax(q2 @ K.T, dim=-1) print(w2) # tensor([0.2196, 0.5401, 0.2403]) print(w2 @ V) # tensor([20.2100])

同一个 K 和 V,只换了 query,权重和输出全变了。

这就是「自主提示」——你想找什么,决定了你看到什么。

这一课留下的三个数

数

值

含义

Q / K 的形状

(n,d) / (m,d)

n 和 m 可以不等

QKᵀ

(n,m)

每对之间的分数

输出

(n,v)

每个 query 一份结果

下一课

注意力的三个角色讲完了。但 Q、K、V 从哪来?谁来提供它们?

这决定了注意力的三种形态——自注意力、跨注意力、多头。 下一课逐个讲,并且说明什么时候该用哪个。