两种评分函数:加性与点积
这一课在哪
前面几课一直在用 算分数,从没解释为什么。
这一课讲清楚:「一个 Q 和一个 K 有多配」这件事,有两种算法。 它们都和 seq2seq 无关,是注意力自己的零件。
评分函数是什么
整条注意力链路里,只有这一步是「设计选择」:
① 打分 a(q, k) → 一个数 ← 这一课讲的就是这个函数 ② 归一化 softmax ③ 加权 Σ a_i · v_i② 和 ③ 是固定的,大家一样。① 有得选。
第一种:加性注意力
三个可学习参数:
参数 | 形状 | 作用 |
|---|---|---|
把 Q 投到 h 维 | ||
把 K 投到 h 维 | ||
把 h 维压成一个数 |
h 是个超参数,通常取 64、128 这种。
它在干什么
q (q 维) ──W_q──► (h 维) ┐ ├─ 相加 ─ tanh ─ w_v ─► 一个分数 k (k 维) ──W_k──► (h 维) ┘本质是:把 q 和 k 各自投到同一个 h 维空间,加起来,过一层小 MLP 出一个分数。
它最大的好处:q 和 k 长度可以不同
是 , 是 —— q 和 k 的维度不必相等。
这在某些场景有用:查询来自 256 维的解码器状态, 键来自 512 维的图像特征,维度对不上。
点积做不到这一点(下一节说)。
第二种:点积注意力
一行就完了。没有参数,没有激活函数。
它衡量的是两个向量的方向有多接近:同向时最大,垂直时为 0,反向时最小。
代价:q 和 k 必须同维
[1,2,3] · [1,2] 算不了。所以点积要求 和 的维度必须一样。
那为什么现在全用点积
因为它能写成矩阵乘。
加性注意力要去重每一个 对,是一堆小运算; 点积可以一次性算 ,一个大矩阵乘法。
GPU 上这两者差几十倍。所以 Transformer 用的是点积。
点积的一个修正:缩放
这就是上一课讲过的缩放点积。回顾一下结论:
量 | 不缩放 | 除以 后 |
|---|---|---|
点积方差 | 1 | |
softmax | 饱和成 one-hot | 有分布 |
梯度 | 接近 0 | 正常 |
三种写法对比
加性 | 点积 | 缩放点积 | |
|---|---|---|---|
公式 | |||
参数 | 三个矩阵 | 0 | 0 |
q、k 同维? | 不需要 | 必须 | 必须 |
能写成矩阵乘? | 不能(要逐个算) | 能 | 能 |
数值稳定性 | 好 | 差(随 d 变大) | 好 |
今天用吗 | 很少 | 很少 | 全部主流模型 |
用代码算一遍,看差别
import torch import math torch.manual_seed(0) q = torch.randn(8) # 8 维 k = torch.randn(8) # 点积 dot = float(q @ k) print(f"点积 {dot:.4f}") # 缩放点积 scaled = dot / math.sqrt(8) print(f"缩放点积 {scaled:.4f}") # 加性(随便初始化一组参数) h = 4 W_q = torch.randn(h, 8) * 0.3 W_k = torch.randn(h, 8) * 0.3 w_v = torch.randn(h) * 0.3 additive = float(w_v @ torch.tanh(W_q @ q + W_k @ k)) print(f"加性 {additive:.4f}")点积 -0.8925 缩放点积 -0.3155 加性 0.1729三个分数量级差很多——这正是关键。
加性注意力的数值天然更稳
看公式:。
tanh 把每一项压到 (-1, 1),所以不管维度多高, 加性注意力的分数永远在 附近,不会随 d 爆炸。
点积没这个保护,所以才需要除以 来补救。
怎么选
情况 | 选 |
|---|---|
q 和 k 维度不同 | 只能加性 |
要快、要大模型 | 缩放点积 |
维度很高又不想调缩放 | 加性 |
不知道选哪个 | 缩放点积(今天的事实标准) |
还有别的评分函数吗
有,但都不常用了:
名字 | 公式 | 特点 |
|---|---|---|
双线性 | 中间加一个可学习矩阵,介于点积和加性之间 | |
余弦 | 只看方向不看长度 | |
拼接后 MLP | 加性的现代版 |
但主流全是缩放点积。不是因为它在数学上最优, 是因为它在 GPU 上最快。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
点积参数 | 0 | 什么参数都没有 |
加性参数 | h 是超参数 | |
缩放点积 | 除以 | 把方差拉回 1 |
下一课
注意力的零件到这里全讲完了:三个角色、三种形态、 怎么算(手算三遍)、怎么打分(这一课)。
下一课开始用它解决一个具体问题—— 回到第 35 章那个 BLEU 只有 7.23 的 seq2seq, 先看清楚它到底缺什么。