翻译和分类哪里不一样

这一课在哪

第 33、34 章做的是情感分析:一整句进,一个标签出。

这一章换一件事:一整句进,另一整句出。

情感分析

翻译

输入

一句话

一句话

输出

1 个数字(0 或 1)

一整句话

输出长度

固定

每次都不一样

词序

不影响输出形式

换个顺序意思就变

先把第 34 章那个模型拿过来试试

情感分析的模型是这样的:

中文句子 → embedding → GRU → 只用最后的 h → fc → 2 个数

最后的 h 是整句话被压成的一个向量,长度固定,比如 64。

现在想让它输出一句话。第一个问题是:输出的长度是多少?

这就是翻译和分类的根本差别

分类的输出空间是固定的——只有 2 个答案,模型选一个。

翻译的输出空间是所有可能的句子——长度不定, 而且 「我 爱 你」 和 「你 爱 我」 是两个不同答案。

没法用「输出 1 个数然后取最大」这套办法了。

三个新问题

#

问题

具体

①

长度不定

「你好」→「Hello」1 个词, 「我不想成为整天泡在沙发上看电视的人」→ 12 个词。 模型怎么知道该停?

②

不能一次算完

分类是一次前向出一个结果。 但第 2 个词该翻什么,取决于第 1 个词翻了什么

③

对齐

中文「我不想去」4 个字,英文「I don't want to go」6 个词。 字和词对不上

关键的一句话

先看第 ① 和第 ② 条,它们指向同一件事。

分类模型的最后一层,用的是整句话的最后一个 h。

import torch import torch.nn as nn gru = nn.GRU(input_size=128, hidden_size=64, batch_first=True) x = torch.randn(1, 20, 128) # 1 句,20 个字,每字 128 维 out, h_n = gru(x) print(h_n.shape) # torch.Size([1, 1, 64]) ← 整句就剩这 64 个数

20 个字的句子,最后只剩 64 个数。

分类够用——因为只需要判断「正面还是负面」。

但翻译要把 20 个字的完整意思,重新说成另一种语言的 12 个词。

这一章要解决的核心矛盾

h 是整句话的唯一出口,但它只有 64 个数。

句子越长,压进去的东西越多,丢的就越多。

这个矛盾会在第 36 章(注意力)被正面解决。 这一章先接受它,把翻译做出来。

那怎么生成一句话

想清楚一件事:生成长度不定的东西,只能一个一个来。

第 1 步:给定起点 → 输出第 1 个词「I」 第 2 步:给定起点 + 「I」 → 输出第 2 个词「don't」 第 3 步:给定起点 + 前两个 → 输出第 3 个词「want」 ... 直到输出一个「结束」符号

这叫自回归生成——第 33.1 课提过。 现在要真的用它。

但这引出一个新问题:每一步都要「重新给一遍前面所有的词」吗?

那也太浪费了。有没有办法把前面读过的东西存下来,下一步接着用?

这就是 RNN 天生的优势

h 干的就是这件事——它是「前面读过什么」的压缩。

所以生成第 n 个词时,只要把第 n-1 步的 h 传过去就行, 不用重读前面的词。

下一课就从这个想法开始搭结构。

用真实数据看一眼

这一章用 cmn.txt 里的中英对照(29,155 条,Tatoeba 来源)。

import pathlib rows = [] with pathlib.Path("cmn.txt").open(encoding="utf-8") as f: for line in f: parts = line.rstrip("\n").split("\t") if len(parts) >= 2 and parts[0].strip() and parts[1].strip(): rows.append((parts[0].strip(), parts[1].strip())) print(len(rows)) # 29155

指标

英文

中文

中位数

6 词

9 字

均值

6.1 词

9.7 字

95 分位

10 词

16 字

最长

32 词

44 字

这是短句数据。看几个例子:

She greeted us with a smile. → 她面带微笑向我们打招呼。 That's none of your business. → 这不关你的事。 I should do it. → 我应该去做。

这个数据集有它的问题

这些句子来自 Tatoeba,是字典例句, 句式重复度高、表达简单。

模型在这种数据上会跑出很高的分数, 但换成新闻长句就崩了。

这一点在 35.8 讲评估时会回头算账。

这一课留下的三个数

数

值

含义

29,155

—

可用的中英对照条数

6 / 9

—

英/中的长度中位数

64

—

整句话最后只能压进这么多

下一课

问题清楚了:要输出一整句话,而且要一个一个生成。

下一课是这一章最重要的一课—— 看 seq2seq 到底是怎么用两个 GRU 把这件事做成的。