习题
四道题:算参数、算门、选网络、找 bug。
一、数参数
配置 | 公式 | 参数量 |
|---|---|---|
RNN(100, 32) | ||
GRU(100, 32) | ||
LSTM(100, 32) | ||
LSTM(100, 32, num_layers=2) | ||
LSTM(100, 32, bidirectional=True) |
import torch.nn as nn def count(net): return sum(p.numel() for p in net.parameters()) print(count(nn.RNN(100, 32, batch_first=True))) print(count(nn.GRU(100, 32, batch_first=True))) print(count(nn.LSTM(100, 32, batch_first=True))) print(count(nn.LSTM(100, 32, num_layers=2, batch_first=True))) print(count(nn.LSTM(100, 32, bidirectional=True, batch_first=True)))二、算门
已知一步的输入:
C(t-1) = [1.0, 0.5] f = [0.8, 0.2] i = [0.6, 0.9] C~ = [-0.5, 0.4] o = [0.3, 0.7]问 | 答案 |
|---|---|
是多少 | |
是多少 | |
是多少 | |
是多少 | |
哪个位置的信息基本被丢掉了 |
三、选网络
场景 | RNN / LSTM / GRU | 理由 |
|---|---|---|
手机端实时输入预测 | ||
判决书摘要(每篇 3000 字) | ||
传感器异常检测(采样率 1kHz) | ||
教学演示,要最简单的 |
四、找 bug
# ① LSTM 后直接接 fc _, h = self.rnn(packed) return self.fc(self.dropout(h)) # ② 双向但没改 fc self.rnn = nn.LSTM(embed_dim, hidden, batch_first=True, bidirectional=True) self.fc = nn.Linear(hidden, num_classes) # ③ 忘了梯度裁剪 loss.backward() optimizer.step() # ④ 双向 LSTM 做翻译的解码器# | 问题 | 后果 |
|---|---|---|
① | ||
② | ||
③ | ||
④ |
参考答案
一、数参数
配置 | 公式 | 参数 |
|---|---|---|
RNN(100, 32) |
| 4,288 |
GRU(100, 32) |
| 12,864 |
LSTM(100, 32) |
| 17,152 |
LSTM(100, 32, 2 层) | 第 1 层 + 第 2 层(输入 32) | 25,600 |
LSTM(100, 32, 双向) | 两个方向各一份 | 34,304 |
规律:
改什么 | 参数量 |
|---|---|
RNN → GRU | ×3(三个门) |
RNN → LSTM | ×4(三组门 + 候选) |
1 层 → 2 层 | 17,152 + 8,448 = 25,600,涨 49% |
单向 → 双向 | ×2 |
二、算门
问 | 答案 | 算法 |
|---|---|---|
[0.8, 0.1] | 0.8×1.0, 0.2×0.5 | |
[-0.3, 0.36] | 0.6×(-0.5), 0.9×0.4 | |
[0.5, 0.46] | 0.8+(-0.3), 0.1+0.36 | |
[0.139, 0.301] | o × tanh(C) | |
被丢弃的 | 第 2 个位置 | f=0.2,只留了两成 |
手算核对最后一问:
import torch C = torch.tensor([0.5, 0.46]) o = torch.tensor([0.3, 0.7]) print(torch.tanh(C)) # tensor([0.4621, 0.4305]) print(o * torch.tanh(C)) # tensor([0.1386, 0.3013])[0.139, 0.301] ✓
三、选网络
场景 | 选 | 理由 |
|---|---|---|
手机端实时输入预测 | GRU | 参数少、算得快,手机上每一毫秒都要省 |
判决书摘要(3000 字) | LSTM | C 通道在超长序列上更稳;3000 字远超 GRU 的舒适区 |
传感器 1kHz | GRU 或不用循环 | 序列极长,RNN 系列都吃力;实际多用 1D 卷积或 Transformer |
教学演示 | RNN | 公式最少,一个 |
注意第 3 行:序列长到一定程度, 循环网络全都不合适——不是选哪个的问题。
四、找 bug
# | 问题 | 后果 |
|---|---|---|
① | 没拆元组 |
|
② | 双向后 fc 输入维度没翻倍 | 输出是 |
③ | 没梯度裁剪 | LSTM 只解决梯度消失,不解决爆炸。 loss 可能突然变 NaN |
④ | 解码器用双向 | 生成第 1 个词时后面的词还不存在, 逻辑上就不成立。而且训练和推理不一致 |
① 的正确写法:
_, (h_n, c_n) = self.rnn(packed) return self.fc(self.dropout(h_n[0]))下一章
到这一章为止,处理的都是「一整句进、一个标签出」。
下一章开始做「一整句进、一整句出」—— 翻译。那需要一个新的结构:Seq2Seq。