习题

四道题:算参数、算门、选网络、找 bug。

一、数参数

配置

公式

参数量

RNN(100, 32)

GRU(100, 32)

LSTM(100, 32)

LSTM(100, 32, num_layers=2)

LSTM(100, 32, bidirectional=True)

import torch.nn as nn def count(net): return sum(p.numel() for p in net.parameters()) print(count(nn.RNN(100, 32, batch_first=True))) print(count(nn.GRU(100, 32, batch_first=True))) print(count(nn.LSTM(100, 32, batch_first=True))) print(count(nn.LSTM(100, 32, num_layers=2, batch_first=True))) print(count(nn.LSTM(100, 32, bidirectional=True, batch_first=True)))

二、算门

已知一步的输入:

C(t-1) = [1.0, 0.5] f = [0.8, 0.2] i = [0.6, 0.9] C~ = [-0.5, 0.4] o = [0.3, 0.7]

问

答案

f⊙Ct−1f \odot C_{t-1} 是多少

i⊙C~i \odot \tilde{C} 是多少

CtC_t 是多少

hth_t 是多少

哪个位置的信息基本被丢掉了

三、选网络

场景

RNN / LSTM / GRU

理由

手机端实时输入预测

判决书摘要(每篇 3000 字)

传感器异常检测(采样率 1kHz)

教学演示,要最简单的

四、找 bug

# ① LSTM 后直接接 fc _, h = self.rnn(packed) return self.fc(self.dropout(h)) # ② 双向但没改 fc self.rnn = nn.LSTM(embed_dim, hidden, batch_first=True, bidirectional=True) self.fc = nn.Linear(hidden, num_classes) # ③ 忘了梯度裁剪 loss.backward() optimizer.step() # ④ 双向 LSTM 做翻译的解码器

#

问题

后果

①

②

③

④

参考答案

一、数参数

配置

公式

参数

RNN(100, 32)

100×32 + 32×32 + 2×32

4,288

GRU(100, 32)

3 × (100×32 + 32×32 + 2×32)

12,864

LSTM(100, 32)

4 × (100×32 + 32×32 + 2×32)

17,152

LSTM(100, 32, 2 层)

第 1 层 + 第 2 层(输入 32)

25,600

LSTM(100, 32, 双向)

两个方向各一份

34,304

规律:

改什么

参数量

RNN → GRU

×3(三个门)

RNN → LSTM

×4(三组门 + 候选)

1 层 → 2 层

17,152 + 8,448 = 25,600,涨 49%

单向 → 双向

×2

二、算门

问

答案

算法

f⊙Cf \odot C

[0.8, 0.1]

0.8×1.0, 0.2×0.5

i⊙C~i \odot \tilde{C}

[-0.3, 0.36]

0.6×(-0.5), 0.9×0.4

CtC_t

[0.5, 0.46]

0.8+(-0.3), 0.1+0.36

hth_t

[0.139, 0.301]

o × tanh(C)

被丢弃的

第 2 个位置

f=0.2,只留了两成

手算核对最后一问:

import torch C = torch.tensor([0.5, 0.46]) o = torch.tensor([0.3, 0.7]) print(torch.tanh(C)) # tensor([0.4621, 0.4305]) print(o * torch.tanh(C)) # tensor([0.1386, 0.3013])

[0.139, 0.301] ✓

三、选网络

场景

选

理由

手机端实时输入预测

GRU

参数少、算得快,手机上每一毫秒都要省

判决书摘要(3000 字)

LSTM

C 通道在超长序列上更稳;3000 字远超 GRU 的舒适区

传感器 1kHz

GRU 或不用循环

序列极长,RNN 系列都吃力;实际多用 1D 卷积或 Transformer

教学演示

RNN

公式最少,一个 tanh 就完了

注意第 3 行:序列长到一定程度, 循环网络全都不合适——不是选哪个的问题。

四、找 bug

#

问题

后果

①

没拆元组

h 是 (h_n, c_n), 直接喂 fc 报 Expected input batch_size (1) to match target batch_size (64)

②

双向后 fc 输入维度没翻倍

输出是 2×hidden,fc 还是 hidden → mat1 and mat2 shapes cannot be multiplied

③

没梯度裁剪

LSTM 只解决梯度消失,不解决爆炸。 loss 可能突然变 NaN

④

解码器用双向

生成第 1 个词时后面的词还不存在, 逻辑上就不成立。而且训练和推理不一致

① 的正确写法:

_, (h_n, c_n) = self.rnn(packed) return self.fc(self.dropout(h_n[0]))

下一章

到这一章为止,处理的都是「一整句进、一个标签出」。

下一章开始做「一整句进、一整句出」—— 翻译。那需要一个新的结构:Seq2Seq。