从 RNN 改到 LSTM 和 GRU
这一课在哪
第 33 章搭过一个 RNN 情感分析模型。这一课把它换成 LSTM 和 GRU。
改动一共三处,其中一处是坑。
改动一:换层
# 之前 self.rnn = nn.RNN(embed_dim, hidden, batch_first=True) # 之后(二选一) self.rnn = nn.LSTM(embed_dim, hidden, batch_first=True) self.rnn = nn.GRU(embed_dim, hidden, batch_first=True)参数名字一个都不变——input_size、hidden_size、 num_layers、batch_first、bidirectional 全都通用。
改动二:返回值
这是唯一的坑。
import torch import torch.nn as nn x = torch.randn(4, 10, 128) rnn = nn.RNN(128, 64, batch_first=True) out, h = rnn(x) print(type(h), h.shape) # <class 'torch.Tensor'> torch.Size([1, 4, 64]) lstm = nn.LSTM(128, 64, batch_first=True) out, h = lstm(x) print(type(h), h[0].shape) # <class 'tuple'> torch.Size([1, 4, 64])层 | 第二个返回值 | 类型 | 取最后一步 |
|---|---|---|---|
|
| Tensor |
|
|
| Tensor |
|
|
| tuple | 先拆,再 |
报错长什么样
ValueError: Expected input batch_size (1) to match target batch_size (64)看到这个错,八成是 LSTM 的 h 没拆元组。 h[0] 拿到的是整个 h_n(三维), 直接喂给 nn.Linear 就变成了「1 个样本」。
改动三:多一个状态
LSTM 除 h 之外还有 c。多数分类任务用不上它。
_, (h_n, c_n) = self.rnn(packed) last = h_n[0] # 只用 h_n,c_n 丢掉什么时候会用到 c_n?做 seq2seq 时—— 要把 C 传给解码器当初始状态。第 35 章会碰到。
完整模型
from torch.nn.utils.rnn import pack_padded_sequence class SentimentNet(nn.Module): def __init__(self, kind, vocab_size, embed_dim=128, hidden=64, num_classes=2, dropout=0.3): super().__init__() self.kind = kind self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) RNN = {"rnn": nn.RNN, "lstm": nn.LSTM, "gru": nn.GRU}[kind] self.rnn = RNN(embed_dim, hidden, batch_first=True) self.dropout = nn.Dropout(dropout) self.fc = nn.Linear(hidden, num_classes) def forward(self, x, lengths): embedded = self.embedding(x) packed = pack_padded_sequence( embedded, lengths.cpu(), batch_first=True, enforce_sorted=False, ) _, h = self.rnn(packed) if self.kind == "lstm": h_n, _c_n = h last = h_n[0] else: last = h[0] return self.fc(self.dropout(last))packing 对三个层都通用
pack_padded_sequence 只看形状,不管里面是 RNN 还是 LSTM。
唯一要注意的是 lengths 要在 CPU 上 (lengths.cpu()),否则报错。
参数量对比
VOCAB, EMB, HID = 3660, 128, 64 for kind in ["rnn", "lstm", "gru"]: net = SentimentNet(kind, VOCAB) total = sum(p.numel() for p in net.parameters()) rnn_only = sum(p.numel() for p in net.rnn.parameters()) print(f"{kind:<5} 总 {total:>9,} 其中 RNN 层 {rnn_only:>7,}")rnn 总 481,026 其中 RNN 层 12,416 lstm 总 518,274 其中 RNN 层 49,664 gru 总 505,858 其中 RNN 层 37,248部分 | 参数 | 占比 |
|---|---|---|
embedding(3660 × 128) | 468,480 | 90.4% |
RNN/LSTM/GRU 层 | 12k ~ 50k | 2.4% ~ 9.6% |
fc(64 → 2) | 130 | 0.03% |
换层几乎不改总参数
从 RNN 换到 LSTM,总参数从 481,026 涨到 518,274, 只多了 7.7%。
因为 embedding 占了 90%,把 RNN 层的 4 倍增长稀释掉了。
这也说明了第 33 章那个结论:词表大小才是参数量的第一驱动。
双向
改一个参数就变成双向:
self.rnn = nn.LSTM(embed_dim, hidden, batch_first=True, bidirectional=True)但要注意两件事:
变化 | 怎么处理 |
|---|---|
输出维度翻倍 |
|
|
|
_, (h_n, _c_n) = self.rnn(packed) last = torch.cat([h_n[0], h_n[1]], dim=1) # (B, 128)双向不能用于生成任务
双向要求整句都看得见——它用后面的词去理解前面的词。
分类可以,但翻译、文本生成不行: 生成第 1 个词的时候,后面的词还不存在。
所以第 35 章之后的 seq2seq 里,解码器只能用单向。
多层
self.rnn = nn.LSTM(embed_dim, hidden, num_layers=2, batch_first=True, dropout=0.3)dropout 只在 num_layers > 1 时生效—— 单层时传了也没用。
层数增加时 h_n 第一维也跟着变: num_layers=2 时是 (2, B, H), h_n[-1] 才是最后一层。
完整的训练循环
device = "cuda" if torch.cuda.is_available() else "cpu" model = SentimentNet("gru", vocab_size=3660).to(device) loss_fn = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3) for epoch in range(1, 9): model.train() for ids, labels, lengths in train_loader: ids = ids.to(device) labels = labels.to(device) logits = model(ids, lengths) loss = loss_fn(logits, labels) optimizer.zero_grad() loss.backward() # 梯度裁剪:LSTM/GRU 也需要 torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() model.eval() correct, seen = 0, 0 with torch.no_grad(): for ids, labels, lengths in dev_loader: ids = ids.to(device) labels = labels.to(device) correct += (model(ids, lengths).argmax(dim=1) == labels).sum().item() seen += labels.size(0) print(f"{epoch} dev {100*correct/seen:.2f}%")梯度裁剪不能去掉
有人以为「LSTM 解决了梯度消失,就不用裁剪了」——错。
门控只解决了梯度变小那一半。 梯度变大那一半还是要靠裁剪。
第 34.1 课算过:每步 2.0,20 步就是 1e6。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
换层改动 | 2 处 | 换类名 + 拆元组 |
总参数变化 | 481,026 → 518,274 | 只涨 7.7% |
embedding 占比 | 90.4% | 词表是第一驱动 |
下一课
代码改完了。下一课看真实对比结果—— 三个网络在同一份数据上跑 8 轮,差距有点出乎意料。