习题

四道题:算参数、手算 BLEU、判断推理策略、找 bug。

一、数参数

下面四个配置,填参数量(embed_dim 和 hidden 相同):

配置

编码器

解码器

合计

src_vocab=5000, tgt_vocab=3000, e=h=128

src_vocab=5000, tgt_vocab=3000, e=h=256

src_vocab=5000, tgt_vocab=3000, e=h=512

想一想

隐层从 128 翻到 256,总参数涨了多少倍? 两个 RNN 涨了几倍?为什么不一样?

二、手算 BLEU

内容

译文

我喜欢吃苹果

参考

我喜欢吃香蕉

n

匹配 / 总数

p_n

1

2

3

4

加 1 平滑,算出 BP 和最终 BLEU。

三、判断推理策略

#

需求

贪心 / 束搜索 / 采样

1

给 10 万份文档批量翻译,明天早上要结果

2

手机输入法的实时翻译

3

给同一句英文生成 5 个不同译法供用户选

4

论文里报 BLEU 数,要可复现

四、找 bug

# ① out = model(src, src_len, tgt) gold = tgt[:, :-1] loss = loss_fn(out.reshape(-1, V), gold.reshape(-1)) # ② loss_fn = nn.CrossEntropyLoss() # ③ word = logits.argmax(dim=1) # 训练时也这么写 # ④ _, (h_n, c_n) = model.encoder(src, src_len) # 编码器换成了 LSTM state = h_n.squeeze(0) # 解码器也是 LSTM,但只传了 h

#

问题

后果

①

②

③

④

参考答案

一、数参数

e = h

编码器

解码器

合计

128

739,072

870,072

1,609,144

256

1,674,752

1,933,752

3,608,504

512

4,135,936

4,650,936

8,786,872

拆开看 e=h=128 那一行:

部分

计算

参数

编码器 embedding

5000 × 128

640,000

编码器 GRU

3 × (128×128 + 128×128 + 2×128)

99,072

解码器 embedding

3000 × 128

384,000

解码器 GRUCell

同上

99,072

解码器 fc

128 × 3000 + 3000

387,000

「想一想」的答案:

隐层 128 → 256,总参数从 1,609,144 涨到 3,608,504,约 2.24 倍。

但两个 RNN 从 99,072 涨到 393,984,是3.98 倍,基本就是 4 倍。

因为 RNN 参数是隐层的平方,而 embedding 是线性的。

embedding 占了大部分,所以总参数的涨幅被稀释到 2.5 倍。

二、手算 BLEU

n

匹配 / 总数

p_n

1

5 / 6

0.8333

2

3 / 5

0.6000

3

2 / 4

0.5000

4

1 / 3

0.3333

逐项核对(6 个字,两边一样长):

n

译文的 n-gram

对上几个

p_n

1

我 喜 欢 吃 苹 果

我、喜、欢、吃 4 个

4/6 = 0.6667

2

我喜欢 喜欢吃 欢吃苹 吃苹果 苹果

我喜欢、喜欢吃、欢吃……3 个

3/5 = 0.6000

3

我喜欢吃 喜欢吃苹 欢吃苹果 吃苹果

2 个

2/4 = 0.5000

4

我喜欢吃苹 喜欢吃苹果 欢吃苹果

1 个

1/3 = 0.3333

注意 2-gram 那行要仔细数。 参考的 2-gram 是:我喜欢、喜欢吃、欢吃香、吃香蕉。 译文的 2-gram 里能对上的:我喜欢、喜欢吃……

实际跑出来是 3 个——因为「欢吃苹」不对,但「吃苹果」的「吃」 在参考里也有对应位置。

手算 BLEU 极容易错

上面这段我第一版就数错了:写成 2 个,实际是 3 个。

n-gram 的匹配要按多重集交集算(每个 gram 取 min 出现次数), 靠眼睛数很容易漏。

答案永远以代码输出为准。

BP:译文 6 字,参考 6 字,长度相同 → BP = 1.0。

几何平均:

0.6667×0.6000×0.5000×0.33334=0.5081\sqrt[4]{0.6667 \times 0.6000 \times 0.5000 \times 0.3333} = 0.5081

BLEU = 1.0 × 0.5081 = 50.81。

用代码验一遍:

import math from collections import Counter def bleu(hyp, ref, N=4): ps = [] for k in range(1, N + 1): hg = Counter(tuple(hyp[i:i+k]) for i in range(len(hyp) - k + 1)) rg = Counter(tuple(ref[i:i+k]) for i in range(len(ref) - k + 1)) m = sum(min(c, rg[g]) for g, c in hg.items()) t = sum(hg.values()) ps.append((m + 1) / (t + 1) if m == 0 else m / t) log_sum = sum(math.log(p) for p in ps) / N bp = 1.0 if len(hyp) > len(ref) else math.exp(1 - len(ref) / len(hyp)) return bp * math.exp(log_sum) print(bleu(list("我喜欢吃苹果"), list("我喜欢吃香蕉"))) # 0.5081

只有最后一个字不同,BLEU 却只有 50

人看这两句:几乎一样,就一个水果的区别。

BLEU 给 50 分——因为长度短,4-gram 里只要有一个字不同就全灭。

这正好说明 BLEU 的一个毛病:短句上特别敏感。

三、判断推理策略

#

选

理由

1

束搜索

离线批量,不赶时间;质量优先

2

贪心

要快,宁可差一点

3

采样

要的是多样性,束搜索会给出 5 条几乎一样的

4

束搜索

可复现(贪心也可复现,但束搜索效果更好)

第 3 题是关键:束搜索优化的是「整句概率最高」, 所以 5 条候选往往高度相似。要多样性必须用采样。

四、找 bug

#

问题

后果

①

标签没右移(写成 tgt[:, :-1])

模型学成「原样复制输入」,损失掉得飞快, 推理时一句都翻不出

②

没有 ignore_index

模型花力气学「在 padding 位置输出 padding」, 浪费容量

③

训练时用了自己的预测

变成「无 teacher forcing」,错误累积, 训练早期几乎学不动

④

LSTM 的 c 没传

c_n 丢了,解码器初始记忆是 0。 不报错,但效果明显差

④ 的正确写法:

_, (h_n, c_n) = model.encoder(src, src_len) state = (h_n.squeeze(0), c_n.squeeze(0)) # 两个都传

下一章

这一章的模型 BLEU 只有 7~10。第 35.6 课分析过四个原因, 最根本的是「没有对齐机制」。

下一章讲注意力——让解码器每一步都能回头看编码器的所有输出, 而不是只靠一个压缩向量。

这是 Transformer 的前身,也是这本书的转折点。