双语词表与 batch
这一课在哪
模型搭好了。这一课准备数据。看起来简单,但有四个坑, 每个都会让模型「训练正常但翻译不出来」。
坑 1:两个词表,不是一加一
中英是两种语言,词表必须分开建。
from collections import Counter PAD, UNK, BOS, EOS = "<pad>", "<unk>", "<bos>", "<eos>" def build_vocab(sequences, min_freq=2): counter = Counter() for seq in sequences: counter.update(seq) itos = [PAD, UNK, BOS, EOS] for token, freq in counter.most_common(): if freq < min_freq: break itos.append(token) return itos, {t: i for i, t in enumerate(itos)}用真实数据看看两个词表差多少:
src_itos, src_stoi = build_vocab([p[0] for p in train_pairs]) tgt_itos, tgt_stoi = build_vocab([p[1] for p in train_pairs]) print(len(src_itos)) # 6083 英文按词切 print(len(tgt_itos)) # 2343 中文按字切英文 | 中文 | |
|---|---|---|
切法 | 按空格切词 | 按字切 |
词表大小 | 6,083 | 2,343 |
一句话多长 | 中位 6 个 token | 中位 9 个 token |
为什么中文按字切,英文按词切
英文的词之间天然有空格,切起来不需要工具。
中文没有空格。按字切的话: 词表只有 2343,而且永远不会遇到未登录词 (任何汉字都在表里)。
代价是序列变长——一句话 9 个字就是 9 步。 这个规模完全能接受。
坑 2:两个特殊符号的顺序
def encode(tokens, stoi): ids = [stoi[BOS]] ids += [stoi.get(t, stoi[UNK]) for t in tokens] ids.append(stoi[EOS]) return ids位置 | 符号 | 为什么 |
|---|---|---|
开头 |
| 解码器的第一个输入 |
中间 | 词 | — |
结尾 |
| 推理时看到它就停 |
bos 不能省
训练时解码器的第 1 个输入是 <bos>。 如果目标句不编码 <bos>,这一列就是错的。
后果:模型收到的是「第一个词」,但它应该收到「句子开始了」。 不会报错,只是效果差。
坑 3:输入和标签差一位
这是整章最容易错的一处。编码完的句子是这样:
目标句「我不想去」编码后: [<bos>, 我, 不, 想, 去, <eos>] 0 1 2 3 4 5训练时:
步 | 输入 | 该预测 |
|---|---|---|
1 |
| 我 |
2 | 我 | 不 |
3 | 不 | 想 |
4 | 想 | 去 |
5 | 去 |
|
word = tgt[:, 0] # <bos> for t in range(1, tgt.size(1)): logits, state = decoder.step(word, state) # 预测第 t 列 ... word = tgt[:, t] # 下一步输入第 t 列输入用的是第 t-1 列,标签是第 t 列。
写反了会怎样
如果标签也取 tgt[:, :-1],模型要学会的就是原样复制输入。
损失会掉得非常快,看起来训练很成功, 但推理时一个词都翻不出来。
这个 bug 最阴的地方就是:所有训练指标都正常。
坑 4:padding 不能算损失
loss_fn = nn.CrossEntropyLoss(ignore_index=0)0 是 <pad>。不加这一句, 模型会认真地去学「在 padding 位置输出 padding」。
而 padding 在 batch 里占的比例很高——短句被补到最长句那么长, 可能有一半的位置都是 padding。
完整的数据准备
import random import torch from torch.nn.utils.rnn import pad_sequence from torch.utils.data import Dataset, DataLoader # ① 读 + 长度过滤 pairs = [] with open("cmn.txt", encoding="utf-8") as f: for line in f: parts = line.rstrip("\n").split("\t") if len(parts) < 2: continue en, zh = parts[0].strip().lower(), parts[1].strip() if not en or not zh: continue en_words = en.split() if len(en_words) <= 20 and len(zh) <= 20: pairs.append((en_words, list(zh))) # ② 打乱后切分 random.seed(0) random.shuffle(pairs) n = len(pairs) train_pairs = pairs[:int(n * 0.90)] val_pairs = pairs[int(n * 0.90):int(n * 0.95)] test_pairs = pairs[int(n * 0.95):] # ③ 只在训练集上建词表 src_itos, src_stoi = build_vocab([p[0] for p in train_pairs]) tgt_itos, tgt_stoi = build_vocab([p[1] for p in train_pairs]) # ④ Dataset class TranslationDataset(Dataset): def __init__(self, pairs): self.data = [ (torch.tensor(encode(src, src_stoi)), torch.tensor(encode(tgt, tgt_stoi))) for src, tgt in pairs ] def __len__(self): return len(self.data) def __getitem__(self, index): return self.data[index] # ⑤ collate def collate_fn(batch): srcs, tgts = zip(*batch) src_lens = torch.tensor([len(s) for s in srcs]) src_padded = pad_sequence(srcs, batch_first=True, padding_value=0) tgt_padded = pad_sequence(tgts, batch_first=True, padding_value=0) return src_padded, tgt_padded, src_lens train_loader = DataLoader( TranslationDataset(train_pairs), batch_size=128, shuffle=True, collate_fn=collate_fn, )真实数据跑出来:
过滤后 28,831 条 训练 25,947 验证 1,442 测试 1,442 源词表 6,083 目标词表 2,343三个细节
① 词表只在训练集上建
如果拿全部数据建词表,验证集和测试集里的词就「见过」了—— 等于提前泄露了测试信息。
正确做法:只用 train_pairs 建, 验证/测试里没见过的词走 <unk>。
② 不用给目标句传长度
编码器需要 src_len 来 packing。 解码器不需要——它是逐步走的, padding 位置的损失被 ignore_index 屏蔽了就够了。
③ 长度过滤要在建词表之前
顺序反了的话,词表里会混进那些「只在超长句里出现」的词, 然后又全被过滤掉,白占参数。
# ✗ 错:先建词表再过滤 # ✓ 对:先过滤再建词表(上面代码就是这个顺序)这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
可用条数 | 28,831 | 两侧都 ≤ 20 |
源 / 目标词表 | 6,083 / 2,343 | 英文按词、中文按字 |
标签偏移 | 1 位 |
|
下一课
数据齐了。下一课真训一遍—— 12 轮,看 loss 怎么降,以及一个让人不太舒服的结果。