预测与评估
这一课在哪
模型训完了。这一课看它到底多好、错在哪。
二分类的评估比后面的翻译任务简单得多——翻译要用 BLEU, 这里只需要准确率和混淆矩阵。
测试集
model.eval() correct, total = 0, 0 confusion = torch.zeros(2, 2, dtype=torch.int) with torch.no_grad(): for ids, labels, lengths in test_loader: ids = ids.to(device) labels = labels.to(device) preds = model(ids, lengths).argmax(dim=1) correct += (preds == labels).sum().item() total += labels.size(0) for true_label, pred_label in zip(labels.cpu(), preds.cpu()): confusion[int(true_label), int(pred_label)] += 1 print(f"测试集 {100 * correct / total:.2f}%") print(confusion)测试集 83.50% tensor([[507, 91], [107, 495]])读混淆矩阵
真实 \ 预测 | 负面(0) | 正面(1) | 合计 |
|---|---|---|---|
负面 | 507 | 91 | 598 |
正面 | 107 | 495 | 602 |
合计 | 614 | 586 | 1200 |
三个指标:
指标 | 算法 | 值 |
|---|---|---|
准确率 |
| 83.50% |
负面召回 |
| 84.8% |
正面召回 |
| 82.2% |
两类差不多,没有偏。这是好事—— 说明模型没学会「全猜一个类」这种偷懒策略。
tp = confusion[1, 1].item() # 正面判对 fp = confusion[0, 1].item() # 负面被判成正面 fn = confusion[1, 0].item() # 正面被判成负面 precision = tp / (tp + fp) recall = tp / (tp + fn) f1 = 2 * precision * recall / (precision + recall) print(f"精确率 {precision:.3f} 召回 {recall:.3f} F1 {f1:.3f}")精确率 0.845 召回 0.822 F1 0.833找几个错例看
光看数字不知道问题在哪。把判错的捞出来:
def find_errors(model, samples, stoi, n=10): model.eval() errors = [] for label, text in samples: ids = encode(text, stoi, max_len=128) tensor = torch.tensor([ids], dtype=torch.long, device=device) lengths = torch.tensor([len(ids)]) with torch.no_grad(): pred = model(tensor, lengths).argmax(dim=1).item() if pred != label and len(errors) < n: errors.append((label, pred, text)) return errors for label, pred, text in find_errors(model, test_raw, stoi): print(f"真 {label} 判 {pred} {text[:50]}")为什么停在 83%
三个原因,按影响排序:
原因 | 说明 | 怎么改 |
|---|---|---|
① 只看最后一步 | 一句话最后几个字往往是「还行吧」「不怎么样」, 但前面的详细描述全丢了 | 用 attention 加权,或双向 RNN |
② 单层 RNN 记不住 | 长评论前 100 个字的信息,到末尾基本没了 | LSTM / GRU(下一章) |
③ 按字切 | 「不」「错」分开是两个 token,模型要自己学「不错 = 好」 | 用分词,或用 BERT 这类预训练模型 |
第三条最要命
情感分析里否定词是关键:「好」和「不好」只差一个字。
按字切的话,模型看到「不」和「好」两个独立 token, 必须靠 h 把「不」记住一整个词的距离。
单层 RNN 记这么远很吃力——这就是为什么 83% 上不去。
单句预测
训练完之后,实际用起来是这样:
def predict(model, text, stoi, device, max_len=128): model.eval() ids = encode(text, stoi, max_len=max_len) tensor = torch.tensor([ids], dtype=torch.long, device=device) lengths = torch.tensor([len(ids)]) with torch.no_grad(): logits = model(tensor, lengths) probs = torch.softmax(logits, dim=1) positive = probs[0, 1].item() label = "正面" if positive > 0.5 else "负面" return label, positive for text in [ "这家酒店太棒了,服务很好,下次还来", "房间又小又脏,再也不会来了", "还行吧,没什么特别的", ]: label, score = predict(model, text, stoi, device) print(f"{label} {score:.3f} {text}")正面 0.912 这家酒店太棒了,服务很好,下次还来 负面 0.887 房间又小又脏,再也不会来了 正面 0.541 还行吧,没什么特别的输入 | 输出 | 看什么 |
|---|---|---|
明显正面 | 0.912 | 很自信 |
明显负面 | 0.887 | 很自信 |
「还行吧」 | 0.541 | 接近 0.5,模型自己也不确定 |
0.541 这个数很有信息量
「还行吧」本来就是中性的,人也不好判断。
模型给出接近 0.5 的概率,说明它学到了「模棱两可」这件事。
如果它给出 0.99,反而说明模型太自信、可能在瞎猜。
三个调用时的坑
① 忘了 model.eval()
model.eval() # ← 别忘 with torch.no_grad(): # ← 也别忘 logits = model(tensor, lengths)不设 eval(),dropout 还开着,同一个句子每次预测结果都不一样。
② batch 维度
# ✗ 错:shape (L,) tensor = torch.tensor(ids) # ✓ 对:shape (1, L) tensor = torch.tensor([ids])模型期望 (B, L),少一个维度直接报错或者形状错乱。
③ 词表必须和训练时一致
# 训练时保存 torch.save({ "state_dict": model.state_dict(), "itos": itos, # ← 词表也要存 "config": {"embed_dim": 128, "hidden_size": 64}, }, "sentiment.pt") # 预测时加载 ckpt = torch.load("sentiment.pt", map_location=device) itos = ckpt["itos"] stoi = {c: i for i, c in enumerate(itos)}词表不存 = 模型废了
模型里的 embedding 是按索引存的。
如果加载时重新建了一个词表,「的」的索引从 12 变成 15, 那第 12 行权重对应的就是另一个字。
不会报错,但输出全是垃圾。
这一课的三个数
数 | 值 | 含义 |
|---|---|---|
测试准确率 | 83.50% | 二分类,瞎猜 50% |
两类召回 | 84.8% / 82.2% | 没有偏向某一类 |
「还行吧」 | 0.541 | 模型知道自己不确定 |
下一课
习题:数词表大小的影响、判断该不该用 packing、找出训练代码里的三个错。