序列数据与 RNN

这一课在哪

前面 15 章处理的都是一张图——它有固定的形状, 224×224×3,不会变。

这一章换一种数据:长度会变的、顺序有意义的。

之前

这一章

图像:固定大小

序列:长度不固定

像素之间是空间关系

元素之间是时间/顺序关系

卷积核扫过去

需要记住前面看过什么

这一课只讲是什么、有什么特点。RNN 的内部结构下一课才讲。

什么叫序列数据

一串有先后顺序的东西,顺序换了意思就变了。

类型

例子

一个元素是什么

文本

「我爱你」

一个字 / 一个词

语音

一段录音

一个时间点的波形采样

时间序列

股票价格

某一天的价格

视频

一段片子

一帧画面

注意「顺序有意义」这一点。

我 爱 你 ≠ 你 爱 我 猫 追 狗 ≠ 狗 追 猫

这就是序列和图像的核心差别:图像的像素可以随便扫, 序列的元素换个位置意思就全变了。

这一条决定了模型怎么设计

图像任务可以「同时看全图」——把整张图一次喂进去。

序列任务往往只能一个元素一个元素地看, 因为长度不定,而且必须记住前面看过什么。

序列任务的三种形态

形态

输入

输出

例子

多对一

一整句

一个标签

情感分析、文本分类

一对多

一个东西

一整句

看图说话、生成标题

多对多

一整句

一整句

翻译、摘要

同长多对多

n 个元素

n 个标签

词性标注、命名实体识别

这一章前 7 课做多对一:给一句话,判断是正面还是负面。

为什么先做情感分析,不做翻译

翻译是多对多:输入长度和输出长度不一样,还要对齐。

这需要 encoder-decoder 结构——第 37 章才讲。

先用多对一把 RNN 本身搞懂,翻译放到后面。

普通网络为什么不行

先试最直接的办法:把一句话的所有词拼起来,喂给全连接层。

# 「这个 电影 太 好看 了」→ 5 个词 sentence_a = ["这个", "电影", "太", "好看", "了"] # 「这个 电影 太 难看 了」→ 也是 5 个词 sentence_b = ["这个", "电影", "太", "难看", "了"]

两个问题立刻就出来了:

问题

具体

① 长度不一样

「很好」2 个词,「这部电影真的非常非常好看」9 个词。全连接层的输入维度是固定的

② 位置信息丢了

拼起来之后,「好看」在第 4 位这件事就变成一个下标,和「难看」在第 4 位没区别

更关键的是第三点:同样的词在不同上下文里意思不同。

「这个 苹果 很 好吃」 苹果 = 水果 「苹果 发布 了 新 手机」 苹果 = 公司

全连接层看到「苹果」永远是同一个输入向量,没法区分这两种情况。

RNN 的核心想法:带记忆

既然要「记住前面看过什么」,那就加一个变量专门存记忆。

这个变量叫隐藏状态,记作 h。

这是整章最重要的一句话

RNN 每一步都做两件事:

① 看当前输入 x

② 看上一步的记忆 h

然后输出新的记忆,传给下一步。

第 1 步:h1 = f(x1, 空) 第 2 步:h2 = f(x2, h1) 第 3 步:h3 = f(x3, h2) ... 第 n 步:hn = f(xn, h(n-1))

最后那个 hn 就「看过整句话」了。拿它去做分类。

为什么要这样

问题

RNN 怎么解决

长度不定

一步只吃一个词,长度多长都行

要记住顺序

h 按顺序累积,顺序天然保留

同一个词意思不同

h 里的上下文不同,同一个词的输出就不同

RNN 的三个特点

这三条不只是 RNN 的特点,是整个 NLP 的特点。

① 参数共享

处理第 1 个词和处理第 100 个词,用的是同一组权重。

# 伪代码 w = 一组权重 h = 初始值 for x in 句子: h = 用 w 计算(x, h) # 每一步都用同一个 w

这和卷积的权重共享是同一个道理——不管句子多长,参数量不变。

② 循环(这就是「循环神经网络」的名字来源)

同一个计算单元被反复调用,上一次的输出喂给下一次。

把 RNN「按时间展开」画出来是这样的:

h0 ──► h1 ──► h2 ──► h3 ▲ ▲ ▲ x1 x2 x3

画成一行长长的链,每一节都是同一个单元。

「展开」是为了看清楚

循环网络在代码里就是一个 for 循环,只写一次。

但画图时会把它「展开」成 n 份,因为这样能看清信息怎么一步步传。

展开只是画法,不是真的复制了 n 个网络。

③ 自回归生成

这是序列模型最有意思的一点: 把上一步的输出,当成下一步的输入。

输入「今天天气」 → 输出「很」 输入「今天天气很」 → 输出「好」 输入「今天天气很好」 → 输出「。」

一次只生成一个词,然后把它接到输入后面,再生成下一个。

任务

用自回归吗

情感分析(多对一)

不用,一次输出一个标签

翻译(多对多)

用

ChatGPT 生成回复

用,一个词一个词往外蹦

为什么叫「自」回归

回归在这里指「用自己的输出做下一步的输入」。

自就是「自己」——不依赖外部新数据,全靠自己生成的。

这就是 GPT 里那个 G(Generative)的字面意思。

RNN 的两个毛病

不然后面几章没得讲。先说清楚:

毛病

表现

后面怎么解决

① 记不住太远

句子第 1 个词的信息,到第 50 个词时基本没了

LSTM / GRU(第 34 章)

② 只能顺序算

第 10 步必须等第 9 步算完,没法并行

注意力 / Transformer(第 36 章起)

第二条是致命的。GPU 有几千个核,但 RNN 一次只能用上一个—— 训练大模型时这是瓶颈。

这就是为什么 2017 年之后 Transformer 取代了 RNN。

但 RNN 还是要学

① 它是理解「序列建模」最直白的入口,概念最少。

② 自回归生成这个思路一直用到今天。

③ LSTM 在很多小任务上仍然比 Transformer 划算。

这一课留下的三个词

词

含义

记住它是因为

隐藏状态 h

存「前面看过什么」的变量

下一课的主角

展开

把循环画成一条链

看懂所有 RNN 图的前提

自回归

用上一步的输出当下一步的输入

GPT 的核心机制

下一课

知道 RNN 要「带记忆」了。下一课把这个 memory 拆开看: h 到底是个什么东西、它怎么算出来的、为什么说它 就是一个全连接层加了个循环。