两种评分函数:加性与点积

这一课在哪

前面几课一直在用 QK⊤QK^{\top} 算分数,从没解释为什么。

这一课讲清楚:「一个 Q 和一个 K 有多配」这件事,有两种算法。 它们都和 seq2seq 无关,是注意力自己的零件。

评分函数是什么

整条注意力链路里,只有这一步是「设计选择」:

① 打分 a(q, k) → 一个数 ← 这一课讲的就是这个函数 ② 归一化 softmax ③ 加权 Σ a_i · v_i

② 和 ③ 是固定的,大家一样。① 有得选。

第一种:加性注意力

a(q,k)=wv⊤tanh⁡(Wqq+Wkk)a(q, k) = w_v^{\top} \tanh\left(W_q q + W_k k\right)

三个可学习参数:

参数

形状

作用

WqW_q

h×qh \times q

把 Q 投到 h 维

WkW_k

h×kh \times k

把 K 投到 h 维

wvw_v

hh

把 h 维压成一个数

h 是个超参数,通常取 64、128 这种。

它在干什么

q (q 维) ──W_q──► (h 维) ┐ ├─ 相加 ─ tanh ─ w_v ─► 一个分数 k (k 维) ──W_k──► (h 维) ┘

本质是:把 q 和 k 各自投到同一个 h 维空间,加起来,过一层小 MLP 出一个分数。

它最大的好处:q 和 k 长度可以不同

WqW_q 是 h×qh \times q,WkW_k 是 h×kh \times k—— q 和 k 的维度不必相等。

这在某些场景有用:查询来自 256 维的解码器状态, 键来自 512 维的图像特征,维度对不上。

点积做不到这一点(下一节说)。

第二种:点积注意力

a(q,k)=q⊤ka(q, k) = q^{\top} k

一行就完了。没有参数,没有激活函数。

它衡量的是两个向量的方向有多接近:同向时最大,垂直时为 0,反向时最小。

代价:q 和 k 必须同维

[1,2,3] · [1,2] 算不了。所以点积要求 qq 和 kk 的维度必须一样。

那为什么现在全用点积

因为它能写成矩阵乘。

加性注意力要去重每一个 (qi,kj)(q_i, k_j) 对,是一堆小运算; 点积可以一次性算 QK⊤QK^{\top},一个大矩阵乘法。

GPU 上这两者差几十倍。所以 Transformer 用的是点积。

点积的一个修正:缩放

a(q,k)=q⊤kda(q, k) = \frac{q^{\top} k}{\sqrt{d}}

这就是上一课讲过的缩放点积。回顾一下结论:

量

不缩放

除以 d\sqrt{d} 后

点积方差

dd

1

softmax

饱和成 one-hot

有分布

梯度

接近 0

正常

三种写法对比

加性

点积

缩放点积

公式

wv⊤tanh⁡(Wqq+Wkk)w_v^{\top}\tanh(W_q q + W_k k)

q⊤kq^{\top}k

q⊤k/dq^{\top}k/\sqrt{d}

参数

三个矩阵

0

0

q、k 同维?

不需要

必须

必须

能写成矩阵乘?

不能(要逐个算)

能

能

数值稳定性

好

差(随 d 变大)

好

今天用吗

很少

很少

全部主流模型

用代码算一遍,看差别

import torch import math torch.manual_seed(0) q = torch.randn(8) # 8 维 k = torch.randn(8) # 点积 dot = float(q @ k) print(f"点积 {dot:.4f}") # 缩放点积 scaled = dot / math.sqrt(8) print(f"缩放点积 {scaled:.4f}") # 加性(随便初始化一组参数) h = 4 W_q = torch.randn(h, 8) * 0.3 W_k = torch.randn(h, 8) * 0.3 w_v = torch.randn(h) * 0.3 additive = float(w_v @ torch.tanh(W_q @ q + W_k @ k)) print(f"加性 {additive:.4f}")
点积 -0.8925 缩放点积 -0.3155 加性 0.1729

三个分数量级差很多——这正是关键。

加性注意力的数值天然更稳

看公式:wv⊤tanh⁡(⋯ )w_v^{\top}\tanh(\cdots)。

tanh 把每一项压到 (-1, 1),所以不管维度多高, 加性注意力的分数永远在 ±∥wv∥1\pm\|w_v\|_1 附近,不会随 d 爆炸。

点积没这个保护,所以才需要除以 d\sqrt{d} 来补救。

怎么选

情况

选

q 和 k 维度不同

只能加性

要快、要大模型

缩放点积

维度很高又不想调缩放

加性

不知道选哪个

缩放点积(今天的事实标准)

还有别的评分函数吗

有,但都不常用了:

名字

公式

特点

双线性

q⊤Wkq^{\top} W k

中间加一个可学习矩阵,介于点积和加性之间

余弦

q⊤k∥q∥∥k∥\frac{q^{\top}k}{\|q\|\|k\|}

只看方向不看长度

拼接后 MLP

w⊤MLP([q;k])w^{\top}\mathrm{MLP}([q; k])

加性的现代版

但主流全是缩放点积。不是因为它在数学上最优, 是因为它在 GPU 上最快。

这一课留下的三个数

数

值

含义

点积参数

0

什么参数都没有

加性参数

h(q+k+1)h(q+k+1)

h 是超参数

缩放点积

除以 d\sqrt{d}

把方差拉回 1

下一课

注意力的零件到这里全讲完了:三个角色、三种形态、 怎么算(手算三遍)、怎么打分(这一课)。

下一课开始用它解决一个具体问题—— 回到第 35 章那个 BLEU 只有 7.23 的 seq2seq, 先看清楚它到底缺什么。