训练对比:RNN vs LSTM vs GRU
这一课在哪
结构讲完了。这一课把三个网络放到完全相同的条件下跑一遍。
控制变量 | 值 |
|---|---|
数据 | ChnSentiCorp,9600 训练 / 1200 验证 / 1200 测试 |
词表 | 3,660( |
embedding 维度 | 128 |
hidden | 64 |
轮数 | 8 |
优化器 / 学习率 | Adam / 1e-3 |
梯度裁剪 | 1.0 |
随机种子 | 0(三个模型都一样) |
只改一行的代码
import torch.nn as nn class SentimentNet(nn.Module): def __init__(self, kind, vocab_size, embed_dim=128, hidden=64, num_classes=2, dropout=0.3): super().__init__() self.kind = kind self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) RNN = {"rnn": nn.RNN, "lstm": nn.LSTM, "gru": nn.GRU}[kind] self.rnn = RNN(embed_dim, hidden, batch_first=True) self.dropout = nn.Dropout(dropout) self.fc = nn.Linear(hidden, num_classes) def forward(self, x, lengths): embedded = self.embedding(x) packed = pack_padded_sequence( embedded, lengths.cpu(), batch_first=True, enforce_sorted=False, ) _, h = self.rnn(packed) if self.kind == "lstm": h_n, _c_n = h # LSTM 返回元组 last = h_n[0] else: last = h[0] # RNN / GRU 直接是张量 return self.fc(self.dropout(last))整个改动就是这两处:换层、拆元组。
真实结果
RNN LSTM GRU 参数 481,026 518,274 505,858 -------------------------------------------- ep1 dev 64.50% 77.83% 73.00% ep2 dev 73.25% 79.83% 81.25% ep3 dev 73.00% 82.33% 81.58% ep4 dev 78.50% 83.75% 84.00% ep5 dev 76.00% 86.08% 86.42% ep6 dev 79.17% 87.50% 87.42% ep7 dev 80.42% 86.00% 88.17% ep8 dev 80.58% 87.67% 89.50% -------------------------------------------- 测试集 83.50% 87.83% 90.83% 每轮耗时 8.2s 8.1s 7.8s模型 | 参数 | 测试准确率 | 相对 RNN |
|---|---|---|---|
RNN | 481,026 | 83.50% | — |
LSTM | 518,274 | 87.83% | +4.33 |
GRU | 505,858 | 90.83% | +7.33 |
三个值得注意的地方
① 第一轮就差 13 个点
模型 | ep1 dev |
|---|---|
RNN | 64.50% |
LSTM | 77.83% |
GRU | 73.00% |
这是门控机制最直接的证据。
第一轮训练时模型还很笨,但 LSTM/GRU 已经能把长距离的信息传下去了—— RNN 做不到,它只能看到最后十几个字。
这个差距不是「学得更快」
门控改的不是学习速度,是信息能传多远。
RNN 的结构决定了它不知道第 1 个字; LSTM 的结构允许它知道。
所以第一轮就差这么多——不是训练效率问题,是能力上限问题。
② GRU 反超了 LSTM
90.83% vs 87.83%——GRU 高 3 个点, 而且参数少 12,416 个,每轮还快 0.3 秒。
这有点反常识。通常的说法是「LSTM 更强,GRU 更快」。
为什么这里反过来了?三个可能:
# | 原因 |
|---|---|
① | 数据量小(9600 条),参数少的模型更好训 |
② | 句子不长(评论平均 50~100 字),LSTM 的 C 通道优势用不上 |
③ | GRU 的门更少,梯度传播路径更短 |
这个结果不普适
换一个任务、换一个数据集,结论可能完全相反。
在很长的序列(几百步以上)、大数据集上, LSTM 的 C 通道通常表现更好。
所以「哪个更好」这个问题没有通用答案——要跑。
③ 第 7 轮 LSTM 掉了一下
轮 | LSTM dev |
|---|---|
6 | 87.50% |
7 | 86.00% ↓ |
8 | 87.67% ↑ |
但 train 一直在涨(92.57% → 93.54%)—— 这是过拟合的早期信号,验证集开始不跟着涨了。
正确做法是早停在第 6 轮,或者加正则。
三条 dev 曲线放一起
import matplotlib.pyplot as plt epochs = list(range(1, 9)) rnn_dev = [64.50, 73.25, 73.00, 78.50, 76.00, 79.17, 80.42, 80.58] lstm_dev = [77.83, 79.83, 82.33, 83.75, 86.08, 87.50, 86.00, 87.67] gru_dev = [73.00, 81.25, 81.58, 84.00, 86.42, 87.42, 88.17, 89.50] fig, ax = plt.subplots(figsize=(7, 4)) ax.plot(epochs, rnn_dev, marker="o", label="RNN", color="#58a6ff") ax.plot(epochs, lstm_dev, marker="s", label="LSTM", color="#f0883e") ax.plot(epochs, gru_dev, marker="^", label="GRU", color="#3fb950") ax.set_xlabel("epoch") ax.set_ylabel("dev accuracy (%)") ax.legend() ax.grid(alpha=0.3)三条线的起点就差很多,后面一直保持这个差距—— 说明差距是结构带来的,不是巧合。
为什么还是上不了 95%
GRU 到 90.83% 已经不错了。剩下 9 个点卡在哪?
# | 瓶颈 | 怎么突破 |
|---|---|---|
① | 只用最后一步 | 用注意力对所有步加权 |
② | 只能单向读 | 双向 RNN( |
③ | 按字切,否定词难学 | 用 BERT 这类预训练模型 |
第 ① 条是第 35 章之后要讲的注意力机制—— 它就诞生于「只用最后一步不够」这个问题。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
RNN | 83.50% | 基线 |
LSTM | 87.83% | +4.33 |
GRU | 90.83% | +7.33,且参数最少 |
这一章真正要记住的
RNN → LSTM → GRU 的本质改动不是「加了几个门」, 而是给梯度修了一条不必穿过连乘的路。
第 34.1 课算过:RNN 20 步后梯度剩 1e-6。 LSTM 把衰减交给 , GRU 把衰减交给 。
都是「让模型自己决定该记多久」。
下一课
习题:数参数、算门、判断该用哪个、找出代码里的坑。