为什么 RNN 记不住
这一课在哪
上一章最后,单层 RNN 在情感分析上停在 80.58%。 第 33.8 课说了一个原因:长评论前面的信息到末尾就没了。
这一课把这个说法算出来——它到底衰减得多快。
梯度是一串连乘
RNN 反向传播要穿过每一个时间步。链式法则展开:
每一个 里都含一个 和一个 。
关键: 最大只有 1。
import torch x = torch.linspace(-3, 3, 7, requires_grad=True) y = torch.tanh(x) y.sum().backward() for xi, gi in zip(x.detach().tolist(), x.grad.tolist()): print(f"tanh({xi:>5.1f}) 的导数 = {gi:.4f}")tanh( -3.0) 的导数 = 0.0099 tanh( -2.0) 的导数 = 0.0707 tanh( -1.0) 的导数 = 0.4200 tanh( 0.0) 的导数 = 1.0000 ← 只有这里等于 1 tanh( 1.0) 的导数 = 0.4200 tanh( 2.0) 的导数 = 0.0707 tanh( 3.0) 的导数 = 0.0099只有输入正好是 0,导数才是 1
输入稍微一偏,导数就掉到 0.42;偏到 ±2 就只剩 0.07。
而反向传播要连乘几十个这样的数。
算一下就知道了
for per_step in [0.5, 0.25]: print(f"每步导数 {per_step}:") for n in [5, 10, 20, 50]: print(f" {n:>2} 步之后 = {per_step ** n:.3e}") print()每步导数 0.5: 5 步之后 = 3.125e-02 10 步之后 = 9.766e-04 20 步之后 = 9.537e-07 50 步之后 = 8.882e-16 每步导数 0.25: 5 步之后 = 9.766e-04 10 步之后 = 9.537e-07 20 步之后 = 9.095e-13 50 步之后 = 7.889e-31序列长度 | 每步 0.5 | 每步 0.25 |
|---|---|---|
5 | 3.1e-02 | 9.8e-04 |
20 | 9.5e-07 | 9.1e-13 |
50 | 8.9e-16 | 7.9e-31 |
50 步之后是 1e-31
float32 能表示的最小正数大约是 。
还在范围内,但已经没有任何实际影响—— 梯度下降完全看不到第一个词。
这就是「记不住」的数学含义。
和 80.58% 对得上吗
情感分析的评论平均 50~100 字。按每步 0.5 算,20 步之后梯度就是 1e-6 量级。
所以模型实际上只学到了最后十几二十个字的信息。
而情感分析里,判断往往取决于整段的态度: 「房间很大很干净,但是……」(后面才是重点),或者 「服务态度太差了,不过……」(后面反而是好评)。
现象 | 解释 |
|---|---|
短评论判得准 | 十几步之内,梯度还够大 |
长评论判得差 | 前面的信息没进入训练 |
停在 80% 上不去 | 需要跨长距离的信息,RNN 给不了 |
顺便:梯度还会爆
如果每步导数大于 1(比如权重初始化大了),同一个连乘会指数增长。
for per_step in [1.5, 2.0]: print(f"每步 {per_step}: 20 步 = {per_step ** 20:.3e}")每步 1.5: 20 步 = 3.326e+03 每步 2.0: 20 步 = 1.049e+06这就是第 33.7 课为什么要梯度裁剪。
两个方向都要防
变小:梯度裁剪管不了,那是结构问题——这一章 LSTM 来解决。
变大:梯度裁剪能管,就是 clip_grad_norm_。
所以 LSTM 出来之后,梯度裁剪仍然要留着——LSTM 只解决了变小那一半。
那怎么办
三条路,按时间顺序:
办法 | 核心想法 | 效果好 |
|---|---|---|
LSTM | 加一条加法传递的 C,绕过连乘 | 好,本章主角 |
GRU | LSTM 的精简版,两个门代替三个 | 差不多,参数更少 |
Transformer | 干脆不要循环,直接算任意两步的关系 | 最好,但要更多数据 |
「绕过连乘」是这四个字的全部关键。 下一课看 LSTM 具体怎么绕。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
最大值 | 1 | 只在输入为 0 时取到 |
典型值 | 0.25 ~ 0.5 | 大部分输入都落在这里 |
20 步之后 | 1e-6 ~ 1e-13 | 等于消失 |
下一课
问题看清了。下一课看 LSTM 的结构—— 它加了一条 C 高速公路,让信息不必穿过连乘。