注意力是什么
这一课在哪
前面 35 章,我们一直在用 RNN:一个 h 从前往后传。
这一章换一个完全不同的机制。它不属于 RNN,也不属于 CNN—— 它是独立的一层,可以插在任何地方。
后面你会看到:它先被用来救 seq2seq,然后变成了 Transformer 的唯一核心。
但这一课完全不提 seq2seq。先把注意力本身讲清楚。
先说「注意力」这个词
人的注意力是稀缺的——你此刻在读这一页, 就忽略了旁边的其他窗口。
但环境的信息太多了:
人类视觉神经系统 每秒约 10^8 位信息 大脑能完全处理的 远低于这个数所以大脑必须只挑一小部分处理。
这就是注意力算法在做的事
从一堆输入里,挑出一小部分重点处理,其余的只给很少的权重。
「挑」这个动作在数学上就是加权—— 重要的给大权重,不重要的给小权重。
这一章所有的公式,都是在算那组权重怎么来。
人是怎么挑的:两种提示
想象桌上放着五样东西:
一份报纸、一篇论文、一杯咖啡、一本笔记本、一本书所有纸制品都是黑白的,只有咖啡杯是红色的。
你的目光会不由自主被咖啡杯吸走——这叫非自主提示。
喝完咖啡,你想读书了。这时候你主动在桌上找书—— 这叫自主提示。
提示 | 从哪来 | 例子 |
|---|---|---|
非自主提示 | 物体自身的突出性 | 红色的咖啡杯 |
自主提示 | 你想找什么 | 想读书 |
这两个词就是 Q 和 K 的由来
自主提示 = 查询(query,Q)——你要找什么。
非自主提示 = 键(key,K)——每个东西自带的「显眼程度」。
被取走的内容 = 值(value,V)——那个东西本身。
换成算法的话说
场景:你手里有一个问题,面前有一堆候选, 每个候选带着一块内容。
角色 | 是什么 | 形状 |
|---|---|---|
Q(query) | 你要找的东西 |
|
K(key) | 每个候选的「标签」,用来和 Q 比对 |
|
V(value) | 每个候选的「内容」,比对完了取这个 |
|
注意 n 和 m 可以不一样——问题可以是一个, 候选可以有一百个。这是注意力的一个关键能力。
三步走
注意力做的就三件事:
① 每个 Q 和每个 K 比一比 → 得到分数矩阵 (n × m) ② 分数变成权重(加起来等于 1) ③ 用权重去加权求和 V → 得到输出 (n × v)写成公式:
逐个符号对上刚才那三步:
符号 | 是什么 | 对应哪步 |
|---|---|---|
每对 Q 和 K 的点积 | ① 比一比 | |
缩放 | (下一课专门讲) | |
每行变成概率,和为 1 | ② 变权重 | |
用权重乘 V 再求和 | ③ 取内容 |
为什么是点积
点积衡量两个向量的相似程度:方向越接近,点积越大。
所以 大, 说明第 q 个问题和第 k 个候选很配。
这也意味着 Q 和 K 的维度必须一样(都是 d),否则点积算不了。
它到底能干什么
四件事,按「和前面的章节有多不一样」排:
# | 能力 | 和 RNN/CNN 比 |
|---|---|---|
① | 变长输入压成长度可变输出 | RNN 只能压成一个固定向量 |
② | 任意两步直接相连 | RNN 要传 n 步,CNN 要堆很多层 |
③ | 权重可以看 | RNN 的 h 里是什么,看不出来 |
④ | 所有位置能并行算 | RNN 必须一步一步来 |
② 和 ④ 是最要命的两条
第 34.1 课算过:RNN 的梯度要穿过 次连乘, 20 步之后只剩 1e-6。
注意力没有「步」这个概念—— 第 1 个词和第 50 个词之间直接算一次点积,中间不经过任何传递。
这是注意力的根本优势
路径长度永远是 1。
不管是第 2 个词还是第 100 个词,Q 和 K 之间都是一次乘法。 梯度不会因为距离远而衰减。
同时所有位置一起算——这正好是 GPU 最擅长的。
它和普通加权有什么区别
「加权求和」本身很平常,CNN 的池化就是加权求和。
差别只有一个:
权重从哪来 | |
|---|---|
普通池化 | 固定(平均池化就是全 1/n) |
全连接层 | 权重是训练出来的参数,和输入无关 |
注意力 | 权重由输入算出来——每个 Q 得到的权重都不一样 |
这就是「自主提示」的算法含义
全连接层的权重是死的:不管来什么问题,用的都是同一组权重。
注意力的权重是活的:来了一个「想找书」的 query, 书本拿高权重、咖啡杯拿低权重;换一个「想喝东西」的 query,反过来。
「是否包含自主性提示」把注意力和全连接层区别开。
先跑一个最小的例子
不算矩阵,就看一个 query 怎么挑。
import torch import torch.nn.functional as F # 三个候选的 key(2 维,方便看) K = torch.tensor([ [1.0, 0.0], # 候选 A [0.0, 1.0], # 候选 B [0.9, 0.1], # 候选 C(和 A 很像) ]) # 三个候选的 value V = torch.tensor([ [10.0], # A 的内容 [20.0], # B 的内容 [30.0], # C 的内容 ]) # 一个 query:想问「像 A 那样的」 q = torch.tensor([1.0, 0.1]) scores = q @ K.T print(scores) # tensor([1.0000, 0.1000, 0.9100])三个分数:A 最高(1.0),C 次之(0.91),B 最低(0.1)。
weights = F.softmax(scores, dim=-1) print(weights) # tensor([0.4309, 0.1752, 0.3939]) → 和为 1 output = weights @ V print(output) # tensor([19.6300])候选 | key | 分数 | 权重 | value |
|---|---|---|---|---|
A | [1.0, 0.0] | 1.00 | 0.431 | 10 |
B | [0.0, 1.0] | 0.10 | 0.175 | 20 |
C | [0.9, 0.1] | 0.91 | 0.394 | 30 |
输出 19.63 是三个 value 的加权平均: 0.431×10 + 0.175×20 + 0.394×30 = 19.63。
这个结果说明了什么
query 说「我想找像 A 那样的」,于是 A 和 C(和 A 很像)拿到高权重, B 只拿到 0.175。
但注意:输出不是 A 的 value(10),而是 19.63。
注意力不是「选一个」,是「按比例混合」。 B 虽然不配,但仍贡献了 17.5%。
换一个问题,输出就变
q2 = torch.tensor([0.1, 1.0]) # 这次想找「像 B 那样的」 w2 = F.softmax(q2 @ K.T, dim=-1) print(w2) # tensor([0.2196, 0.5401, 0.2403]) print(w2 @ V) # tensor([20.2100])同一个 K 和 V,只换了 query,权重和输出全变了。
这就是「自主提示」——你想找什么,决定了你看到什么。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
Q / K 的形状 |
| n 和 m 可以不等 |
QKᵀ |
| 每对之间的分数 |
输出 |
| 每个 query 一份结果 |
下一课
注意力的三个角色讲完了。但 Q、K、V 从哪来?谁来提供它们?
这决定了注意力的三种形态——自注意力、跨注意力、多头。 下一课逐个讲,并且说明什么时候该用哪个。