评估:BLEU 与它的毛病

这一课在哪

上一课比较贪心和束搜索,用的是 BLEU:7.23 和 10.45。

这两个数到底什么意思?为什么这么低?这一课算清楚, 并且说明它有四个很严重的毛病。

先问:翻译怎么算「对」

分类任务简单——预测对就是 1,错就是 0。

翻译不行。同一句英文,可以有好几种都对的译法:

I can speak English. 我会讲英语。 我会说英语。 我能讲英文。 我懂英语。

四个都对。但如果你只准备了一个参考答案, 另外三个都会被判成「错」。

这是翻译评估的根本困难

分类只有一个正确答案,翻译有无数个。

所以不能用「对/错」,只能用「和参考答案有多像」。

这就是 BLEU 的出发点:用一种可计算的「像」来近似「好」。

BLEU 的核心:数 n-gram 重叠

想法很朴素:译文和参考译文有多少段是重合的。

"n-gram" 就是连续的 n 个词(中文按字)。

n

叫什么

"这是谁的铅笔" 里的

1

unigram

这 / 是 / 谁 / 的 / 铅 / 笔

2

bigram

这是 / 是谁 / 谁的 / 的铅 / 铅笔

3

trigram

这是谁 / 是谁的 / 谁的铅 / 的铅笔

4

4-gram

这是谁的 / 是谁的铅 / 谁的铅笔

手算一个

内容

译文

这是谁的铅笔(6 个字)

参考

这个手提箱是谁的(8 个字)

1-gram:有多少个字对上了

译文 6 个字:这、是、谁、的、铅、笔。参考里有的:这、是、谁、的(4 个), 铅和笔没有。

p1=46=0.667p_1 = \frac{4}{6} = 0.667

2-gram:有多少个二元组对上了

译文的 2-gram

参考里有没有

这是

✗(参考是「这个」)

是谁

✓

谁的

✓

的铅

✗

铅笔

✗

p2=25=0.400p_2 = \frac{2}{5} = 0.400

3-gram 和 4-gram

p3=14=0.250p4=03=0p_3 = \frac{1}{4} = 0.250 \qquad p_4 = \frac{0}{3} = 0

4-gram 一个都没对上——参考里的 4-gram 是「这个手提」「个手提箱」这些, 和译文的「这是谁的」完全不同。

一个 0 就把整个 BLEU 打成 0

p4=0p_4 = 0 时,公式里要取几何平均, 结果直接是 0。

前面三项明明都不错(0.667 / 0.4 / 0.25),最后却得 0 分。

所以实际实现都要加平滑(smoothing)。

加 smoothing 之后

最简单的办法:每个 n-gram 的分子分母各加 1。

p4=0+13+1=0.250p_4 = \frac{0 + 1}{3 + 1} = 0.250

四项齐了:

0.667,0.400,0.250,0.2500.667,\quad 0.400,\quad 0.250,\quad 0.250

怎么合成一个数

BLEU 用的是几何平均,不是算术平均:

score=(∏n=14pn)1/4=0.667×0.400×0.250×0.2504=0.3593\text{score} = \left(\prod_{n=1}^{4} p_n\right)^{1/4} = \sqrt[4]{0.667 \times 0.400 \times 0.250 \times 0.250} = 0.3593

为什么用几何平均

算术平均的话,(0.667+0.4+0.25+0.25)/4 = 0.392, 看起来还行——但 4-gram 是 0 啊。

几何平均里任何一项接近 0,整体就接近 0。

这是故意的:BLEU 要求你四项都好,不能靠短片段堆分。

还有一项:简短惩罚

问题来了:如果译文只输出一个字「的」,那 p1=1.0p_1 = 1.0, 其他项也都是 1.0——满分。

所以要罚「太短」:

BP={1译文比参考长e1−参考长度译文长度译文比参考短\text{BP} = \begin{cases} 1 & \text{译文比参考长} \\ e^{1 - \frac{\text{参考长度}}{\text{译文长度}} } & \text{译文比参考短} \end{cases}

本例中译文 6 字、参考 8 字:

BP=e1−8/6=e−0.3333=0.7165\text{BP} = e^{1 - 8/6} = e^{-0.3333} = 0.7165
BLEU=0.7165×0.3593=0.2575=25.75\text{BLEU} = 0.7165 \times 0.3593 = \mathbf{0.2575} = 25.75

用代码验一遍

import math from collections import Counter def bleu(hyp, ref, N=4): ps = [] for k in range(1, N + 1): hyp_grams = Counter(tuple(hyp[i:i+k]) for i in range(len(hyp) - k + 1)) ref_grams = Counter(tuple(ref[i:i+k]) for i in range(len(ref) - k + 1)) # 重叠数:同一个 n-gram 最多数 min(出现次数) match = sum(min(c, ref_grams[g]) for g, c in hyp_grams.items()) total = sum(hyp_grams.values()) # 加 1 平滑 p = (match + 1) / (total + 1) if match == 0 else match / total ps.append(p) log_sum = sum(math.log(p) for p in ps) / N bp = 1.0 if len(hyp) > len(ref) else math.exp(1 - len(ref) / len(hyp)) return bp * math.exp(log_sum) print(bleu(list("这是谁的铅笔"), list("这个手提箱是谁的"))) # 0.2575 print(bleu(list("我会讲英语"), list("我会讲英语"))) # 1.0
0.25749436233794957 1.0

完全对上。完全一样的句子得 100,上面那个得 25.75。

min(出现次数) 这一步不能省

译文「的的的的的」,参考「这个手提箱是谁的」(只有一个「的」)。

如果不限次数,1-gram 会算成 5 个匹配,precision = 1.0。

用 min(译文里出现次数, 参考里出现次数), 就只能算 1 个,precision = 0.2。

那 7.23 和 10.45 什么水平

系统

BLEU

本章这个模型(贪心)

7.23

本章这个模型(束搜索)

10.45

早期统计机器翻译(2000s)

约 25~35

神经机器翻译(2016 前后)

约 30~40

今天的大模型(WMT 中英)

约 45~55

7.23 是很低的

10 以下是「基本不可用」的水平。和上面那些例子对得上—— 大部分句子是错的,只有少数简单句翻对。

但这不是不能解释:2.6 万条短句、354 万参数、没有对齐机制。

这个数字真实反映了一个玩具级 seq2seq 的能力。

BLEU 的四个毛病

① 只看字面,不管意思

参考:这个手提箱是谁的? 译文:这是谁的箱子? ← 人看是好的 BLEU:很低(字面对不上) 译文:这个手提箱是谁的? ← 标准答案 译文:这个 手提箱 是 谁 的 ? ← 分词不同,字面几乎一样 BLEU:很高

② 更通顺反而可能分更低

第 35.7 课就出现过:

输出

人看

BLEU

告诉我什么事让我该说什么

不通顺

和参考有「我」「什么」几个字重合,略高

告诉我为什么汤姆回家了

通顺得多

更低(和参考一个字都不重合)

③ 对词序不敏感(长句)

4-gram 只覆盖连续 4 个词。一个长句里词序整体乱了, 只要局部还有短片段对得上,BLEU 依然不低。

④ 只认一个(或几个)参考答案

「我会说英语」和「我会讲英语」都是对的,但只给一个参考的话, 另一个会被扣分。

缓解办法:每句准备多个参考译文,取匹配最好的。 WMT 比赛就是这么做的(每句 4 个参考)。

今天用什么

指标

怎么算

优点

缺点

BLEU

n-gram 精确率

快、可复现

只看字面

chrF

字符级 F 值

对形态变化友好

还是字面

METEOR

加同义词和词干

比 BLEU 贴近人

要外部词典

COMET

用另一个模型打分

和人的判断最相关

要跑模型,慢

人工评估

人读

最准

贵、不可复现

现在学术界基本都用 COMET,但论文里仍然会报 BLEU—— 因为它十几年来的数据可比。

这一课真正要记住的

BLEU 是一个「便宜但有偏」的近似。

它衡量的是「和参考答案的字面重叠」, 不是「翻译得好不好」。

看到 BLEU 差不多的两个系统,不代表人觉得它们一样好。

这一课留下的三个数

数

值

含义

手算例子

25.75

「这是谁的铅笔」vs「这个手提箱是谁的」

完全一致

100.00

逐字相同

本章模型

7.23 / 10.45

贪心 / 束搜索

下一课

习题:手算 BLEU、数参数、解释为什么束搜索不是每句都更好。