序列数据与 RNN
这一课在哪
前面 15 章处理的都是一张图——它有固定的形状, 224×224×3,不会变。
这一章换一种数据:长度会变的、顺序有意义的。
之前 | 这一章 |
|---|---|
图像:固定大小 | 序列:长度不固定 |
像素之间是空间关系 | 元素之间是时间/顺序关系 |
卷积核扫过去 | 需要记住前面看过什么 |
这一课只讲是什么、有什么特点。RNN 的内部结构下一课才讲。
什么叫序列数据
一串有先后顺序的东西,顺序换了意思就变了。
类型 | 例子 | 一个元素是什么 |
|---|---|---|
文本 | 「我爱你」 | 一个字 / 一个词 |
语音 | 一段录音 | 一个时间点的波形采样 |
时间序列 | 股票价格 | 某一天的价格 |
视频 | 一段片子 | 一帧画面 |
注意「顺序有意义」这一点。
我 爱 你 ≠ 你 爱 我 猫 追 狗 ≠ 狗 追 猫这就是序列和图像的核心差别:图像的像素可以随便扫, 序列的元素换个位置意思就全变了。
这一条决定了模型怎么设计
图像任务可以「同时看全图」——把整张图一次喂进去。
序列任务往往只能一个元素一个元素地看, 因为长度不定,而且必须记住前面看过什么。
序列任务的三种形态
形态 | 输入 | 输出 | 例子 |
|---|---|---|---|
多对一 | 一整句 | 一个标签 | 情感分析、文本分类 |
一对多 | 一个东西 | 一整句 | 看图说话、生成标题 |
多对多 | 一整句 | 一整句 | 翻译、摘要 |
同长多对多 | n 个元素 | n 个标签 | 词性标注、命名实体识别 |
这一章前 7 课做多对一:给一句话,判断是正面还是负面。
为什么先做情感分析,不做翻译
翻译是多对多:输入长度和输出长度不一样,还要对齐。
这需要 encoder-decoder 结构——第 37 章才讲。
先用多对一把 RNN 本身搞懂,翻译放到后面。
普通网络为什么不行
先试最直接的办法:把一句话的所有词拼起来,喂给全连接层。
# 「这个 电影 太 好看 了」→ 5 个词 sentence_a = ["这个", "电影", "太", "好看", "了"] # 「这个 电影 太 难看 了」→ 也是 5 个词 sentence_b = ["这个", "电影", "太", "难看", "了"]两个问题立刻就出来了:
问题 | 具体 |
|---|---|
① 长度不一样 | 「很好」2 个词,「这部电影真的非常非常好看」9 个词。全连接层的输入维度是固定的 |
② 位置信息丢了 | 拼起来之后,「好看」在第 4 位这件事就变成一个下标,和「难看」在第 4 位没区别 |
更关键的是第三点:同样的词在不同上下文里意思不同。
「这个 苹果 很 好吃」 苹果 = 水果 「苹果 发布 了 新 手机」 苹果 = 公司全连接层看到「苹果」永远是同一个输入向量,没法区分这两种情况。
RNN 的核心想法:带记忆
既然要「记住前面看过什么」,那就加一个变量专门存记忆。
这个变量叫隐藏状态,记作 h。
这是整章最重要的一句话
RNN 每一步都做两件事:
① 看当前输入 x
② 看上一步的记忆 h
然后输出新的记忆,传给下一步。
第 1 步:h1 = f(x1, 空) 第 2 步:h2 = f(x2, h1) 第 3 步:h3 = f(x3, h2) ... 第 n 步:hn = f(xn, h(n-1))最后那个 hn 就「看过整句话」了。拿它去做分类。
为什么要这样
问题 | RNN 怎么解决 |
|---|---|
长度不定 | 一步只吃一个词,长度多长都行 |
要记住顺序 |
|
同一个词意思不同 |
|
RNN 的三个特点
这三条不只是 RNN 的特点,是整个 NLP 的特点。
① 参数共享
处理第 1 个词和处理第 100 个词,用的是同一组权重。
# 伪代码 w = 一组权重 h = 初始值 for x in 句子: h = 用 w 计算(x, h) # 每一步都用同一个 w这和卷积的权重共享是同一个道理——不管句子多长,参数量不变。
② 循环(这就是「循环神经网络」的名字来源)
同一个计算单元被反复调用,上一次的输出喂给下一次。
把 RNN「按时间展开」画出来是这样的:
h0 ──► h1 ──► h2 ──► h3 ▲ ▲ ▲ x1 x2 x3画成一行长长的链,每一节都是同一个单元。
「展开」是为了看清楚
循环网络在代码里就是一个 for 循环,只写一次。
但画图时会把它「展开」成 n 份,因为这样能看清信息怎么一步步传。
展开只是画法,不是真的复制了 n 个网络。
③ 自回归生成
这是序列模型最有意思的一点: 把上一步的输出,当成下一步的输入。
输入「今天天气」 → 输出「很」 输入「今天天气很」 → 输出「好」 输入「今天天气很好」 → 输出「。」一次只生成一个词,然后把它接到输入后面,再生成下一个。
任务 | 用自回归吗 |
|---|---|
情感分析(多对一) | 不用,一次输出一个标签 |
翻译(多对多) | 用 |
ChatGPT 生成回复 | 用,一个词一个词往外蹦 |
为什么叫「自」回归
回归在这里指「用自己的输出做下一步的输入」。
自就是「自己」——不依赖外部新数据,全靠自己生成的。
这就是 GPT 里那个 G(Generative)的字面意思。
RNN 的两个毛病
不然后面几章没得讲。先说清楚:
毛病 | 表现 | 后面怎么解决 |
|---|---|---|
① 记不住太远 | 句子第 1 个词的信息,到第 50 个词时基本没了 | LSTM / GRU(第 34 章) |
② 只能顺序算 | 第 10 步必须等第 9 步算完,没法并行 | 注意力 / Transformer(第 36 章起) |
第二条是致命的。GPU 有几千个核,但 RNN 一次只能用上一个—— 训练大模型时这是瓶颈。
这就是为什么 2017 年之后 Transformer 取代了 RNN。
但 RNN 还是要学
① 它是理解「序列建模」最直白的入口,概念最少。
② 自回归生成这个思路一直用到今天。
③ LSTM 在很多小任务上仍然比 Transformer 划算。
这一课留下的三个词
词 | 含义 | 记住它是因为 |
|---|---|---|
隐藏状态 h | 存「前面看过什么」的变量 | 下一课的主角 |
展开 | 把循环画成一条链 | 看懂所有 RNN 图的前提 |
自回归 | 用上一步的输出当下一步的输入 | GPT 的核心机制 |
下一课
知道 RNN 要「带记忆」了。下一课把这个 memory 拆开看: h 到底是个什么东西、它怎么算出来的、为什么说它 就是一个全连接层加了个循环。