习题

四道题:数参数量、判断 packing、找训练代码的错、辨真假。

一、词表大小的影响

同样 9600 条训练数据,四种词表设置。填表(embed_dim=128):

min_freq

max_size

词表 V

embedding 参数

占总参数

1

10000

2

10000

5

10000

2

2000

import csv from collections import Counter PAD, UNK, BOS, EOS = "<pad>", "<unk>", "<bos>", "<eos>" def read_tsv(path): out = [] with open(path, encoding="utf-8") as f: r = csv.reader(f, delimiter="\t", quoting=csv.QUOTE_NONE) next(r) for row in r: if len(row) >= 2 and row[0].strip() in ("0", "1") and row[1].strip(): out.append(row[1].strip()) return out texts = read_tsv("D:/main/AIchallenger2017/sentiment/train.tsv") counter = Counter() for t in texts: counter.update(t) for min_freq, max_size in [(1, 10000), (2, 10000), (5, 10000), (2, 2000)]: v = 4 for ch, f in counter.most_common(): if f < min_freq or v >= max_size: break v += 1 emb = v * 128 total = emb + 64 * 128 + 64 * 64 + 128 + 130 print(f"min_freq={min_freq} max={max_size} V={v} emb={emb:,} 占比={100*emb/total:.1f}%")

二、该不该用 packing

下面四种情况,哪些必须用 pack_padded_sequence?

#

情况

要用吗

理由

1

所有句子长度都是 20

2

长度 5~128 不等

3

长度不等,但只用 out 不用 h_n

4

长度不等,batch_size=1

三、这三个错在哪

# ① for ids, labels, lengths in train_loader: logits = model(ids, lengths) loss = loss_fn(logits, labels) loss.backward() optimizer.step() optimizer.zero_grad() # ② for ids, labels, lengths in train_loader: logits = model(ids, lengths) loss = loss_fn(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() # ③ model.train() logits = model(ids, lengths) loss = loss_fn(logits, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() # 忘了 zero_grad

四、辨真假

#

说法

对 / 错 + 理由

1

RNN 的参数量随句子长度增加

2

梯度裁剪会改变梯度的方向

3

用了 packing 就不需要传 lengths 了

4

第 1 轮 train 准确率低于 dev 是正常的

5

保存模型时词表可以不用存

参考答案

一、词表大小

设置

V

embedding

占比

min_freq=1

约 6000

768,000

97.8%

min_freq=2

3,660

468,480

97.4%

min_freq=5

约 2500

320,000

96.2%

max_size=2000

2,000

256,000

95.3%

实测 min_freq=2 得到的词表是 3,660, 模型总参数 481,026。

embedding 永远占 95% 以上——所以词表是第一个要调的旋钮。

二、该不该 packing

#

要用吗

理由

1

不用

长度全一样,没有 padding

2

要用

典型情况,padding 会污染 h_n

3

建议用

不用也不会错,但 padding 的位置仍然参与计算, 浪费算力;而且 out 在 padding 位置的值是垃圾

4

不用

一个样本就是一个长度,没有 padding

规则:只要 batch 里长度不一样,就用。

三、三个错

#

错在哪

后果

①

zero_grad 放在 step 之后

勉强能跑,但语义反了。 正确顺序是 zero → backward → step

②

没有梯度裁剪

RNN 的梯度会爆,loss 可能突然变 NaN

③

没有 zero_grad

梯度会一直累加,几步之后爆炸。 这是最常见的 RNN 训练 bug

① 其实也能跑(因为第一轮之后 grad 是干净的), 但代码语义不对,容易在别的地方出错。

③ 才是真正会炸的那个。

四、辨真假

#

答案

理由

1

错

权重共享,参数量和长度完全无关

2

错

整体缩放到 max_norm,方向不变

3

错

lengths 正是 packing 的输入,必须传

4

对

训练时 dropout 开着,等于做难题

5

错

embedding 按索引存,词表变了索引就错位,输出全乱

下一章

单层 RNN 到 83% 就上不去了,因为记不住太远。

下一章看 LSTM——用一个更复杂的 h 来解决这个问题,同样的任务能到 88% 以上。