评估:BLEU 与它的毛病
这一课在哪
上一课比较贪心和束搜索,用的是 BLEU:7.23 和 10.45。
这两个数到底什么意思?为什么这么低?这一课算清楚, 并且说明它有四个很严重的毛病。
先问:翻译怎么算「对」
分类任务简单——预测对就是 1,错就是 0。
翻译不行。同一句英文,可以有好几种都对的译法:
I can speak English. 我会讲英语。 我会说英语。 我能讲英文。 我懂英语。四个都对。但如果你只准备了一个参考答案, 另外三个都会被判成「错」。
这是翻译评估的根本困难
分类只有一个正确答案,翻译有无数个。
所以不能用「对/错」,只能用「和参考答案有多像」。
这就是 BLEU 的出发点:用一种可计算的「像」来近似「好」。
BLEU 的核心:数 n-gram 重叠
想法很朴素:译文和参考译文有多少段是重合的。
"n-gram" 就是连续的 n 个词(中文按字)。
n | 叫什么 | "这是谁的铅笔" 里的 |
|---|---|---|
1 | unigram | 这 / 是 / 谁 / 的 / 铅 / 笔 |
2 | bigram | 这是 / 是谁 / 谁的 / 的铅 / 铅笔 |
3 | trigram | 这是谁 / 是谁的 / 谁的铅 / 的铅笔 |
4 | 4-gram | 这是谁的 / 是谁的铅 / 谁的铅笔 |
手算一个
内容 | |
|---|---|
译文 |
|
参考 |
|
1-gram:有多少个字对上了
译文 6 个字:这、是、谁、的、铅、笔。参考里有的:这、是、谁、的(4 个), 铅和笔没有。
2-gram:有多少个二元组对上了
译文的 2-gram | 参考里有没有 |
|---|---|
这是 | ✗(参考是「这个」) |
是谁 | ✓ |
谁的 | ✓ |
的铅 | ✗ |
铅笔 | ✗ |
3-gram 和 4-gram
4-gram 一个都没对上——参考里的 4-gram 是「这个手提」「个手提箱」这些, 和译文的「这是谁的」完全不同。
一个 0 就把整个 BLEU 打成 0
时,公式里要取几何平均, 结果直接是 0。
前面三项明明都不错(0.667 / 0.4 / 0.25),最后却得 0 分。
所以实际实现都要加平滑(smoothing)。
加 smoothing 之后
最简单的办法:每个 n-gram 的分子分母各加 1。
四项齐了:
怎么合成一个数
BLEU 用的是几何平均,不是算术平均:
为什么用几何平均
算术平均的话,(0.667+0.4+0.25+0.25)/4 = 0.392, 看起来还行——但 4-gram 是 0 啊。
几何平均里任何一项接近 0,整体就接近 0。
这是故意的:BLEU 要求你四项都好,不能靠短片段堆分。
还有一项:简短惩罚
问题来了:如果译文只输出一个字「的」,那 , 其他项也都是 1.0——满分。
所以要罚「太短」:
本例中译文 6 字、参考 8 字:
用代码验一遍
import math from collections import Counter def bleu(hyp, ref, N=4): ps = [] for k in range(1, N + 1): hyp_grams = Counter(tuple(hyp[i:i+k]) for i in range(len(hyp) - k + 1)) ref_grams = Counter(tuple(ref[i:i+k]) for i in range(len(ref) - k + 1)) # 重叠数:同一个 n-gram 最多数 min(出现次数) match = sum(min(c, ref_grams[g]) for g, c in hyp_grams.items()) total = sum(hyp_grams.values()) # 加 1 平滑 p = (match + 1) / (total + 1) if match == 0 else match / total ps.append(p) log_sum = sum(math.log(p) for p in ps) / N bp = 1.0 if len(hyp) > len(ref) else math.exp(1 - len(ref) / len(hyp)) return bp * math.exp(log_sum) print(bleu(list("这是谁的铅笔"), list("这个手提箱是谁的"))) # 0.2575 print(bleu(list("我会讲英语"), list("我会讲英语"))) # 1.00.25749436233794957 1.0完全对上。完全一样的句子得 100,上面那个得 25.75。
min(出现次数) 这一步不能省
译文「的的的的的」,参考「这个手提箱是谁的」(只有一个「的」)。
如果不限次数,1-gram 会算成 5 个匹配,precision = 1.0。
用 min(译文里出现次数, 参考里出现次数), 就只能算 1 个,precision = 0.2。
那 7.23 和 10.45 什么水平
系统 | BLEU |
|---|---|
本章这个模型(贪心) | 7.23 |
本章这个模型(束搜索) | 10.45 |
早期统计机器翻译(2000s) | 约 25~35 |
神经机器翻译(2016 前后) | 约 30~40 |
今天的大模型(WMT 中英) | 约 45~55 |
7.23 是很低的
10 以下是「基本不可用」的水平。和上面那些例子对得上—— 大部分句子是错的,只有少数简单句翻对。
但这不是不能解释:2.6 万条短句、354 万参数、没有对齐机制。
这个数字真实反映了一个玩具级 seq2seq 的能力。
BLEU 的四个毛病
① 只看字面,不管意思
参考:这个手提箱是谁的? 译文:这是谁的箱子? ← 人看是好的 BLEU:很低(字面对不上) 译文:这个手提箱是谁的? ← 标准答案 译文:这个 手提箱 是 谁 的 ? ← 分词不同,字面几乎一样 BLEU:很高② 更通顺反而可能分更低
第 35.7 课就出现过:
输出 | 人看 | BLEU |
|---|---|---|
告诉我什么事让我该说什么 | 不通顺 | 和参考有「我」「什么」几个字重合,略高 |
告诉我为什么汤姆回家了 | 通顺得多 | 更低(和参考一个字都不重合) |
③ 对词序不敏感(长句)
4-gram 只覆盖连续 4 个词。一个长句里词序整体乱了, 只要局部还有短片段对得上,BLEU 依然不低。
④ 只认一个(或几个)参考答案
「我会说英语」和「我会讲英语」都是对的,但只给一个参考的话, 另一个会被扣分。
缓解办法:每句准备多个参考译文,取匹配最好的。 WMT 比赛就是这么做的(每句 4 个参考)。
今天用什么
指标 | 怎么算 | 优点 | 缺点 |
|---|---|---|---|
BLEU | n-gram 精确率 | 快、可复现 | 只看字面 |
chrF | 字符级 F 值 | 对形态变化友好 | 还是字面 |
METEOR | 加同义词和词干 | 比 BLEU 贴近人 | 要外部词典 |
COMET | 用另一个模型打分 | 和人的判断最相关 | 要跑模型,慢 |
人工评估 | 人读 | 最准 | 贵、不可复现 |
现在学术界基本都用 COMET,但论文里仍然会报 BLEU—— 因为它十几年来的数据可比。
这一课真正要记住的
BLEU 是一个「便宜但有偏」的近似。
它衡量的是「和参考答案的字面重叠」, 不是「翻译得好不好」。
看到 BLEU 差不多的两个系统,不代表人觉得它们一样好。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
手算例子 | 25.75 | 「这是谁的铅笔」vs「这个手提箱是谁的」 |
完全一致 | 100.00 | 逐字相同 |
本章模型 | 7.23 / 10.45 | 贪心 / 束搜索 |
下一课
习题:手算 BLEU、数参数、解释为什么束搜索不是每句都更好。