训练对比:RNN vs LSTM vs GRU

这一课在哪

结构讲完了。这一课把三个网络放到完全相同的条件下跑一遍。

控制变量

值

数据

ChnSentiCorp,9600 训练 / 1200 验证 / 1200 测试

词表

3,660(min_freq=2)

embedding 维度

128

hidden

64

轮数

8

优化器 / 学习率

Adam / 1e-3

梯度裁剪

1.0

随机种子

0(三个模型都一样)

只改一行的代码

import torch.nn as nn class SentimentNet(nn.Module): def __init__(self, kind, vocab_size, embed_dim=128, hidden=64, num_classes=2, dropout=0.3): super().__init__() self.kind = kind self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) RNN = {"rnn": nn.RNN, "lstm": nn.LSTM, "gru": nn.GRU}[kind] self.rnn = RNN(embed_dim, hidden, batch_first=True) self.dropout = nn.Dropout(dropout) self.fc = nn.Linear(hidden, num_classes) def forward(self, x, lengths): embedded = self.embedding(x) packed = pack_padded_sequence( embedded, lengths.cpu(), batch_first=True, enforce_sorted=False, ) _, h = self.rnn(packed) if self.kind == "lstm": h_n, _c_n = h # LSTM 返回元组 last = h_n[0] else: last = h[0] # RNN / GRU 直接是张量 return self.fc(self.dropout(last))

整个改动就是这两处:换层、拆元组。

真实结果

 RNN LSTM GRU 参数 481,026 518,274 505,858 -------------------------------------------- ep1 dev 64.50% 77.83% 73.00% ep2 dev 73.25% 79.83% 81.25% ep3 dev 73.00% 82.33% 81.58% ep4 dev 78.50% 83.75% 84.00% ep5 dev 76.00% 86.08% 86.42% ep6 dev 79.17% 87.50% 87.42% ep7 dev 80.42% 86.00% 88.17% ep8 dev 80.58% 87.67% 89.50% -------------------------------------------- 测试集 83.50% 87.83% 90.83% 每轮耗时 8.2s 8.1s 7.8s

模型

参数

测试准确率

相对 RNN

RNN

481,026

83.50%

—

LSTM

518,274

87.83%

+4.33

GRU

505,858

90.83%

+7.33

三个值得注意的地方

① 第一轮就差 13 个点

模型

ep1 dev

RNN

64.50%

LSTM

77.83%

GRU

73.00%

这是门控机制最直接的证据。

第一轮训练时模型还很笨,但 LSTM/GRU 已经能把长距离的信息传下去了—— RNN 做不到,它只能看到最后十几个字。

这个差距不是「学得更快」

门控改的不是学习速度,是信息能传多远。

RNN 的结构决定了它不知道第 1 个字; LSTM 的结构允许它知道。

所以第一轮就差这么多——不是训练效率问题,是能力上限问题。

② GRU 反超了 LSTM

90.83% vs 87.83%——GRU 高 3 个点, 而且参数少 12,416 个,每轮还快 0.3 秒。

这有点反常识。通常的说法是「LSTM 更强,GRU 更快」。

为什么这里反过来了?三个可能:

#

原因

①

数据量小(9600 条),参数少的模型更好训

②

句子不长(评论平均 50~100 字),LSTM 的 C 通道优势用不上

③

GRU 的门更少,梯度传播路径更短

这个结果不普适

换一个任务、换一个数据集,结论可能完全相反。

在很长的序列(几百步以上)、大数据集上, LSTM 的 C 通道通常表现更好。

所以「哪个更好」这个问题没有通用答案——要跑。

③ 第 7 轮 LSTM 掉了一下

轮

LSTM dev

6

87.50%

7

86.00% ↓

8

87.67% ↑

但 train 一直在涨(92.57% → 93.54%)—— 这是过拟合的早期信号,验证集开始不跟着涨了。

正确做法是早停在第 6 轮,或者加正则。

三条 dev 曲线放一起

import matplotlib.pyplot as plt epochs = list(range(1, 9)) rnn_dev = [64.50, 73.25, 73.00, 78.50, 76.00, 79.17, 80.42, 80.58] lstm_dev = [77.83, 79.83, 82.33, 83.75, 86.08, 87.50, 86.00, 87.67] gru_dev = [73.00, 81.25, 81.58, 84.00, 86.42, 87.42, 88.17, 89.50] fig, ax = plt.subplots(figsize=(7, 4)) ax.plot(epochs, rnn_dev, marker="o", label="RNN", color="#58a6ff") ax.plot(epochs, lstm_dev, marker="s", label="LSTM", color="#f0883e") ax.plot(epochs, gru_dev, marker="^", label="GRU", color="#3fb950") ax.set_xlabel("epoch") ax.set_ylabel("dev accuracy (%)") ax.legend() ax.grid(alpha=0.3)

三条线的起点就差很多,后面一直保持这个差距—— 说明差距是结构带来的,不是巧合。

为什么还是上不了 95%

GRU 到 90.83% 已经不错了。剩下 9 个点卡在哪?

#

瓶颈

怎么突破

①

只用最后一步 h_n

用注意力对所有步加权

②

只能单向读

双向 RNN(bidirectional=True)

③

按字切,否定词难学

用 BERT 这类预训练模型

第 ① 条是第 35 章之后要讲的注意力机制—— 它就诞生于「只用最后一步不够」这个问题。

这一课留下的三个数

数

值

含义

RNN

83.50%

基线

LSTM

87.83%

+4.33

GRU

90.83%

+7.33,且参数最少

这一章真正要记住的

RNN → LSTM → GRU 的本质改动不是「加了几个门」, 而是给梯度修了一条不必穿过连乘的路。

第 34.1 课算过:RNN 20 步后梯度剩 1e-6。 LSTM 把衰减交给 ftf_t, GRU 把衰减交给 ztz_t。

都是「让模型自己决定该记多久」。

下一课

习题:数参数、算门、判断该用哪个、找出代码里的坑。