翻译和分类哪里不一样
这一课在哪
第 33、34 章做的是情感分析:一整句进,一个标签出。
这一章换一件事:一整句进,另一整句出。
情感分析 | 翻译 | |
|---|---|---|
输入 | 一句话 | 一句话 |
输出 | 1 个数字(0 或 1) | 一整句话 |
输出长度 | 固定 | 每次都不一样 |
词序 | 不影响输出形式 | 换个顺序意思就变 |
先把第 34 章那个模型拿过来试试
情感分析的模型是这样的:
中文句子 → embedding → GRU → 只用最后的 h → fc → 2 个数最后的 h 是整句话被压成的一个向量,长度固定,比如 64。
现在想让它输出一句话。第一个问题是:输出的长度是多少?
这就是翻译和分类的根本差别
分类的输出空间是固定的——只有 2 个答案,模型选一个。
翻译的输出空间是所有可能的句子——长度不定, 而且 「我 爱 你」 和 「你 爱 我」 是两个不同答案。
没法用「输出 1 个数然后取最大」这套办法了。
三个新问题
# | 问题 | 具体 |
|---|---|---|
① | 长度不定 | 「你好」→「Hello」1 个词, 「我不想成为整天泡在沙发上看电视的人」→ 12 个词。 模型怎么知道该停? |
② | 不能一次算完 | 分类是一次前向出一个结果。 但第 2 个词该翻什么,取决于第 1 个词翻了什么 |
③ | 对齐 | 中文「我不想去」4 个字,英文「I don't want to go」6 个词。 字和词对不上 |
关键的一句话
先看第 ① 和第 ② 条,它们指向同一件事。
分类模型的最后一层,用的是整句话的最后一个 h。
import torch import torch.nn as nn gru = nn.GRU(input_size=128, hidden_size=64, batch_first=True) x = torch.randn(1, 20, 128) # 1 句,20 个字,每字 128 维 out, h_n = gru(x) print(h_n.shape) # torch.Size([1, 1, 64]) ← 整句就剩这 64 个数20 个字的句子,最后只剩 64 个数。
分类够用——因为只需要判断「正面还是负面」。
但翻译要把 20 个字的完整意思,重新说成另一种语言的 12 个词。
这一章要解决的核心矛盾
h 是整句话的唯一出口,但它只有 64 个数。
句子越长,压进去的东西越多,丢的就越多。
这个矛盾会在第 36 章(注意力)被正面解决。 这一章先接受它,把翻译做出来。
那怎么生成一句话
想清楚一件事:生成长度不定的东西,只能一个一个来。
第 1 步:给定起点 → 输出第 1 个词「I」 第 2 步:给定起点 + 「I」 → 输出第 2 个词「don't」 第 3 步:给定起点 + 前两个 → 输出第 3 个词「want」 ... 直到输出一个「结束」符号这叫自回归生成——第 33.1 课提过。 现在要真的用它。
但这引出一个新问题:每一步都要「重新给一遍前面所有的词」吗?
那也太浪费了。有没有办法把前面读过的东西存下来,下一步接着用?
这就是 RNN 天生的优势
h 干的就是这件事——它是「前面读过什么」的压缩。
所以生成第 n 个词时,只要把第 n-1 步的 h 传过去就行, 不用重读前面的词。
下一课就从这个想法开始搭结构。
用真实数据看一眼
这一章用 cmn.txt 里的中英对照(29,155 条,Tatoeba 来源)。
import pathlib rows = [] with pathlib.Path("cmn.txt").open(encoding="utf-8") as f: for line in f: parts = line.rstrip("\n").split("\t") if len(parts) >= 2 and parts[0].strip() and parts[1].strip(): rows.append((parts[0].strip(), parts[1].strip())) print(len(rows)) # 29155指标 | 英文 | 中文 |
|---|---|---|
中位数 | 6 词 | 9 字 |
均值 | 6.1 词 | 9.7 字 |
95 分位 | 10 词 | 16 字 |
最长 | 32 词 | 44 字 |
这是短句数据。看几个例子:
She greeted us with a smile. → 她面带微笑向我们打招呼。 That's none of your business. → 这不关你的事。 I should do it. → 我应该去做。这个数据集有它的问题
这些句子来自 Tatoeba,是字典例句, 句式重复度高、表达简单。
模型在这种数据上会跑出很高的分数, 但换成新闻长句就崩了。
这一点在 35.8 讲评估时会回头算账。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
29,155 | — | 可用的中英对照条数 |
6 / 9 | — | 英/中的长度中位数 |
64 | — | 整句话最后只能压进这么多 |
下一课
问题清楚了:要输出一整句话,而且要一个一个生成。
下一课是这一章最重要的一课—— 看 seq2seq 到底是怎么用两个 GRU 把这件事做成的。