从 RNN 改到 LSTM 和 GRU

这一课在哪

第 33 章搭过一个 RNN 情感分析模型。这一课把它换成 LSTM 和 GRU。

改动一共三处,其中一处是坑。

改动一:换层

# 之前 self.rnn = nn.RNN(embed_dim, hidden, batch_first=True) # 之后(二选一) self.rnn = nn.LSTM(embed_dim, hidden, batch_first=True) self.rnn = nn.GRU(embed_dim, hidden, batch_first=True)

参数名字一个都不变——input_size、hidden_size、 num_layers、batch_first、bidirectional 全都通用。

改动二:返回值

这是唯一的坑。

import torch import torch.nn as nn x = torch.randn(4, 10, 128) rnn = nn.RNN(128, 64, batch_first=True) out, h = rnn(x) print(type(h), h.shape) # <class 'torch.Tensor'> torch.Size([1, 4, 64]) lstm = nn.LSTM(128, 64, batch_first=True) out, h = lstm(x) print(type(h), h[0].shape) # <class 'tuple'> torch.Size([1, 4, 64])

层

第二个返回值

类型

取最后一步

nn.RNN

(1, B, H)

Tensor

h[0]

nn.GRU

(1, B, H)

Tensor

h[0]

nn.LSTM

(h_n, c_n)

tuple

先拆,再 h_n[0]

报错长什么样

ValueError: Expected input batch_size (1) to match target batch_size (64)

看到这个错,八成是 LSTM 的 h 没拆元组。 h[0] 拿到的是整个 h_n(三维), 直接喂给 nn.Linear 就变成了「1 个样本」。

改动三:多一个状态

LSTM 除 h 之外还有 c。多数分类任务用不上它。

_, (h_n, c_n) = self.rnn(packed) last = h_n[0] # 只用 h_n,c_n 丢掉

什么时候会用到 c_n?做 seq2seq 时—— 要把 C 传给解码器当初始状态。第 35 章会碰到。

完整模型

from torch.nn.utils.rnn import pack_padded_sequence class SentimentNet(nn.Module): def __init__(self, kind, vocab_size, embed_dim=128, hidden=64, num_classes=2, dropout=0.3): super().__init__() self.kind = kind self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) RNN = {"rnn": nn.RNN, "lstm": nn.LSTM, "gru": nn.GRU}[kind] self.rnn = RNN(embed_dim, hidden, batch_first=True) self.dropout = nn.Dropout(dropout) self.fc = nn.Linear(hidden, num_classes) def forward(self, x, lengths): embedded = self.embedding(x) packed = pack_padded_sequence( embedded, lengths.cpu(), batch_first=True, enforce_sorted=False, ) _, h = self.rnn(packed) if self.kind == "lstm": h_n, _c_n = h last = h_n[0] else: last = h[0] return self.fc(self.dropout(last))

packing 对三个层都通用

pack_padded_sequence 只看形状,不管里面是 RNN 还是 LSTM。

唯一要注意的是 lengths 要在 CPU 上 (lengths.cpu()),否则报错。

参数量对比

VOCAB, EMB, HID = 3660, 128, 64 for kind in ["rnn", "lstm", "gru"]: net = SentimentNet(kind, VOCAB) total = sum(p.numel() for p in net.parameters()) rnn_only = sum(p.numel() for p in net.rnn.parameters()) print(f"{kind:<5} 总 {total:>9,} 其中 RNN 层 {rnn_only:>7,}")
rnn 总 481,026 其中 RNN 层 12,416 lstm 总 518,274 其中 RNN 层 49,664 gru 总 505,858 其中 RNN 层 37,248

部分

参数

占比

embedding(3660 × 128)

468,480

90.4%

RNN/LSTM/GRU 层

12k ~ 50k

2.4% ~ 9.6%

fc(64 → 2)

130

0.03%

换层几乎不改总参数

从 RNN 换到 LSTM,总参数从 481,026 涨到 518,274, 只多了 7.7%。

因为 embedding 占了 90%,把 RNN 层的 4 倍增长稀释掉了。

这也说明了第 33 章那个结论:词表大小才是参数量的第一驱动。

双向

改一个参数就变成双向:

self.rnn = nn.LSTM(embed_dim, hidden, batch_first=True, bidirectional=True)

但要注意两件事:

变化

怎么处理

输出维度翻倍

hidden=64 双向后是 128,fc 要改成 Linear(128, 2)

h_n 第一维变 2

h_n[0] 只是正向的,要拼接 torch.cat([h_n[0], h_n[1]], dim=1)

_, (h_n, _c_n) = self.rnn(packed) last = torch.cat([h_n[0], h_n[1]], dim=1) # (B, 128)

双向不能用于生成任务

双向要求整句都看得见——它用后面的词去理解前面的词。

分类可以,但翻译、文本生成不行: 生成第 1 个词的时候,后面的词还不存在。

所以第 35 章之后的 seq2seq 里,解码器只能用单向。

多层

self.rnn = nn.LSTM(embed_dim, hidden, num_layers=2, batch_first=True, dropout=0.3)

dropout 只在 num_layers > 1 时生效—— 单层时传了也没用。

层数增加时 h_n 第一维也跟着变: num_layers=2 时是 (2, B, H), h_n[-1] 才是最后一层。

完整的训练循环

device = "cuda" if torch.cuda.is_available() else "cpu" model = SentimentNet("gru", vocab_size=3660).to(device) loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) for epoch in range(1, 9): model.train() for ids, labels, lengths in train_loader: ids = ids.to(device) labels = labels.to(device) logits = model(ids, lengths) loss = loss_fn(logits, labels) optimizer.zero_grad() loss.backward() # 梯度裁剪:LSTM/GRU 也需要 torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() model.eval() correct, seen = 0, 0 with torch.no_grad(): for ids, labels, lengths in dev_loader: ids = ids.to(device) labels = labels.to(device) correct += (model(ids, lengths).argmax(dim=1) == labels).sum().item() seen += labels.size(0) print(f"{epoch} dev {100*correct/seen:.2f}%")

梯度裁剪不能去掉

有人以为「LSTM 解决了梯度消失,就不用裁剪了」——错。

门控只解决了梯度变小那一半。 梯度变大那一半还是要靠裁剪。

第 34.1 课算过:每步 2.0,20 步就是 1e6。

这一课留下的三个数

数

值

含义

换层改动

2 处

换类名 + 拆元组

总参数变化

481,026 → 518,274

只涨 7.7%

embedding 占比

90.4%

词表是第一驱动

下一课

代码改完了。下一课看真实对比结果—— 三个网络在同一份数据上跑 8 轮,差距有点出乎意料。