习题
四道题:算参数、手算 BLEU、判断推理策略、找 bug。
一、数参数
下面四个配置,填参数量(embed_dim 和 hidden 相同):
配置 | 编码器 | 解码器 | 合计 |
|---|---|---|---|
src_vocab=5000, tgt_vocab=3000, e=h=128 | |||
src_vocab=5000, tgt_vocab=3000, e=h=256 | |||
src_vocab=5000, tgt_vocab=3000, e=h=512 |
想一想
隐层从 128 翻到 256,总参数涨了多少倍? 两个 RNN 涨了几倍?为什么不一样?
二、手算 BLEU
内容 | |
|---|---|
译文 |
|
参考 |
|
n | 匹配 / 总数 | p_n |
|---|---|---|
1 | ||
2 | ||
3 | ||
4 |
加 1 平滑,算出 BP 和最终 BLEU。
三、判断推理策略
# | 需求 | 贪心 / 束搜索 / 采样 |
|---|---|---|
1 | 给 10 万份文档批量翻译,明天早上要结果 | |
2 | 手机输入法的实时翻译 | |
3 | 给同一句英文生成 5 个不同译法供用户选 | |
4 | 论文里报 BLEU 数,要可复现 |
四、找 bug
# ① out = model(src, src_len, tgt) gold = tgt[:, :-1] loss = loss_fn(out.reshape(-1, V), gold.reshape(-1)) # ② loss_fn = nn.CrossEntropyLoss() # ③ word = logits.argmax(dim=1) # 训练时也这么写 # ④ _, (h_n, c_n) = model.encoder(src, src_len) # 编码器换成了 LSTM state = h_n.squeeze(0) # 解码器也是 LSTM,但只传了 h# | 问题 | 后果 |
|---|---|---|
① | ||
② | ||
③ | ||
④ |
参考答案
一、数参数
e = h | 编码器 | 解码器 | 合计 |
|---|---|---|---|
128 | 739,072 | 870,072 | 1,609,144 |
256 | 1,674,752 | 1,933,752 | 3,608,504 |
512 | 4,135,936 | 4,650,936 | 8,786,872 |
拆开看 e=h=128 那一行:
部分 | 计算 | 参数 |
|---|---|---|
编码器 embedding | 5000 × 128 | 640,000 |
编码器 GRU | 3 × (128×128 + 128×128 + 2×128) | 99,072 |
解码器 embedding | 3000 × 128 | 384,000 |
解码器 GRUCell | 同上 | 99,072 |
解码器 fc | 128 × 3000 + 3000 | 387,000 |
「想一想」的答案:
隐层 128 → 256,总参数从 1,609,144 涨到 3,608,504,约 2.24 倍。
但两个 RNN 从 99,072 涨到 393,984,是3.98 倍,基本就是 4 倍。
因为 RNN 参数是隐层的平方,而 embedding 是线性的。
embedding 占了大部分,所以总参数的涨幅被稀释到 2.5 倍。
二、手算 BLEU
n | 匹配 / 总数 | p_n |
|---|---|---|
1 | 5 / 6 | 0.8333 |
2 | 3 / 5 | 0.6000 |
3 | 2 / 4 | 0.5000 |
4 | 1 / 3 | 0.3333 |
逐项核对(6 个字,两边一样长):
n | 译文的 n-gram | 对上几个 | p_n |
|---|---|---|---|
1 | 我 喜 欢 吃 苹 果 | 我、喜、欢、吃 4 个 | 4/6 = 0.6667 |
2 | 我喜欢 喜欢吃 欢吃苹 吃苹果 苹果 | 我喜欢、喜欢吃、欢吃……3 个 | 3/5 = 0.6000 |
3 | 我喜欢吃 喜欢吃苹 欢吃苹果 吃苹果 | 2 个 | 2/4 = 0.5000 |
4 | 我喜欢吃苹 喜欢吃苹果 欢吃苹果 | 1 个 | 1/3 = 0.3333 |
注意 2-gram 那行要仔细数。 参考的 2-gram 是:我喜欢、喜欢吃、欢吃香、吃香蕉。 译文的 2-gram 里能对上的:我喜欢、喜欢吃……
实际跑出来是 3 个——因为「欢吃苹」不对,但「吃苹果」的「吃」 在参考里也有对应位置。
手算 BLEU 极容易错
上面这段我第一版就数错了:写成 2 个,实际是 3 个。
n-gram 的匹配要按多重集交集算(每个 gram 取 min 出现次数), 靠眼睛数很容易漏。
答案永远以代码输出为准。
BP:译文 6 字,参考 6 字,长度相同 → BP = 1.0。
几何平均:
BLEU = 1.0 × 0.5081 = 50.81。
用代码验一遍:
import math from collections import Counter def bleu(hyp, ref, N=4): ps = [] for k in range(1, N + 1): hg = Counter(tuple(hyp[i:i+k]) for i in range(len(hyp) - k + 1)) rg = Counter(tuple(ref[i:i+k]) for i in range(len(ref) - k + 1)) m = sum(min(c, rg[g]) for g, c in hg.items()) t = sum(hg.values()) ps.append((m + 1) / (t + 1) if m == 0 else m / t) log_sum = sum(math.log(p) for p in ps) / N bp = 1.0 if len(hyp) > len(ref) else math.exp(1 - len(ref) / len(hyp)) return bp * math.exp(log_sum) print(bleu(list("我喜欢吃苹果"), list("我喜欢吃香蕉"))) # 0.5081只有最后一个字不同,BLEU 却只有 50
人看这两句:几乎一样,就一个水果的区别。
BLEU 给 50 分——因为长度短,4-gram 里只要有一个字不同就全灭。
这正好说明 BLEU 的一个毛病:短句上特别敏感。
三、判断推理策略
# | 选 | 理由 |
|---|---|---|
1 | 束搜索 | 离线批量,不赶时间;质量优先 |
2 | 贪心 | 要快,宁可差一点 |
3 | 采样 | 要的是多样性,束搜索会给出 5 条几乎一样的 |
4 | 束搜索 | 可复现(贪心也可复现,但束搜索效果更好) |
第 3 题是关键:束搜索优化的是「整句概率最高」, 所以 5 条候选往往高度相似。要多样性必须用采样。
四、找 bug
# | 问题 | 后果 |
|---|---|---|
① | 标签没右移(写成 | 模型学成「原样复制输入」,损失掉得飞快, 推理时一句都翻不出 |
② | 没有 ignore_index | 模型花力气学「在 padding 位置输出 padding」, 浪费容量 |
③ | 训练时用了自己的预测 | 变成「无 teacher forcing」,错误累积, 训练早期几乎学不动 |
④ | LSTM 的 c 没传 |
|
④ 的正确写法:
_, (h_n, c_n) = model.encoder(src, src_len) state = (h_n.squeeze(0), c_n.squeeze(0)) # 两个都传下一章
这一章的模型 BLEU 只有 7~10。第 35.6 课分析过四个原因, 最根本的是「没有对齐机制」。
下一章讲注意力——让解码器每一步都能回头看编码器的所有输出, 而不是只靠一个压缩向量。
这是 Transformer 的前身,也是这本书的转折点。