习题
四道题:数参数量、判断 packing、找训练代码的错、辨真假。
一、词表大小的影响
同样 9600 条训练数据,四种词表设置。填表(embed_dim=128):
min_freq | max_size | 词表 V | embedding 参数 | 占总参数 |
|---|---|---|---|---|
1 | 10000 | |||
2 | 10000 | |||
5 | 10000 | |||
2 | 2000 |
import csv from collections import Counter PAD, UNK, BOS, EOS = "<pad>", "<unk>", "<bos>", "<eos>" def read_tsv(path): out = [] with open(path, encoding="utf-8") as f: r = csv.reader(f, delimiter="\t", quoting=csv.QUOTE_NONE) next(r) for row in r: if len(row) >= 2 and row[0].strip() in ("0", "1") and row[1].strip(): out.append(row[1].strip()) return out texts = read_tsv("D:/main/AIchallenger2017/sentiment/train.tsv") counter = Counter() for t in texts: counter.update(t) for min_freq, max_size in [(1, 10000), (2, 10000), (5, 10000), (2, 2000)]: v = 4 for ch, f in counter.most_common(): if f < min_freq or v >= max_size: break v += 1 emb = v * 128 total = emb + 64 * 128 + 64 * 64 + 128 + 130 print(f"min_freq={min_freq} max={max_size} V={v} emb={emb:,} 占比={100*emb/total:.1f}%")二、该不该用 packing
下面四种情况,哪些必须用 pack_padded_sequence?
# | 情况 | 要用吗 | 理由 |
|---|---|---|---|
1 | 所有句子长度都是 20 | ||
2 | 长度 5~128 不等 | ||
3 | 长度不等,但只用 | ||
4 | 长度不等,batch_size=1 |
三、这三个错在哪
# ① for ids, labels, lengths in train_loader: logits = model(ids, lengths) loss = loss_fn(logits, labels) loss.backward() optimizer.step() optimizer.zero_grad() # ② for ids, labels, lengths in train_loader: logits = model(ids, lengths) loss = loss_fn(logits, labels) optimizer.zero_grad() loss.backward() optimizer.step() # ③ model.train() logits = model(ids, lengths) loss = loss_fn(logits, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() # 忘了 zero_grad四、辨真假
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | RNN 的参数量随句子长度增加 | |
2 | 梯度裁剪会改变梯度的方向 | |
3 | 用了 packing 就不需要传 lengths 了 | |
4 | 第 1 轮 train 准确率低于 dev 是正常的 | |
5 | 保存模型时词表可以不用存 |
参考答案
一、词表大小
设置 | V | embedding | 占比 |
|---|---|---|---|
min_freq=1 | 约 6000 | 768,000 | 97.8% |
min_freq=2 | 3,660 | 468,480 | 97.4% |
min_freq=5 | 约 2500 | 320,000 | 96.2% |
max_size=2000 | 2,000 | 256,000 | 95.3% |
实测 min_freq=2 得到的词表是 3,660, 模型总参数 481,026。
embedding 永远占 95% 以上——所以词表是第一个要调的旋钮。
二、该不该 packing
# | 要用吗 | 理由 |
|---|---|---|
1 | 不用 | 长度全一样,没有 padding |
2 | 要用 | 典型情况,padding 会污染 |
3 | 建议用 | 不用也不会错,但 padding 的位置仍然参与计算, 浪费算力;而且 |
4 | 不用 | 一个样本就是一个长度,没有 padding |
规则:只要 batch 里长度不一样,就用。
三、三个错
# | 错在哪 | 后果 |
|---|---|---|
① |
| 勉强能跑,但语义反了。 正确顺序是 |
② | 没有梯度裁剪 | RNN 的梯度会爆,loss 可能突然变 NaN |
③ | 没有 zero_grad | 梯度会一直累加,几步之后爆炸。 这是最常见的 RNN 训练 bug |
① 其实也能跑(因为第一轮之后 grad 是干净的), 但代码语义不对,容易在别的地方出错。
③ 才是真正会炸的那个。
四、辨真假
# | 答案 | 理由 |
|---|---|---|
1 | 错 | 权重共享,参数量和长度完全无关 |
2 | 错 | 整体缩放到 |
3 | 错 |
|
4 | 对 | 训练时 dropout 开着,等于做难题 |
5 | 错 | embedding 按索引存,词表变了索引就错位,输出全乱 |
下一章
单层 RNN 到 83% 就上不去了,因为记不住太远。
下一章看 LSTM——用一个更复杂的 h 来解决这个问题,同样的任务能到 88% 以上。