embedding:把词变成向量
这一课在哪
上一课算 RNN 的时候,直接把 当成一个向量用了。
但一个词不是向量,它是个字符串。 「猫」这两个字节,神经网络没法做乘法。
这一课解决这件事:怎么把词变成一个能参与计算的向量。
最直接的办法:one-hot
先给每个词一个编号,然后变成一个「只有一个 1」的向量。
# 词表:6 个词 vocab = ["我", "爱", "你", "猫", "狗", "。"] # 索引: 0 1 2 3 4 5 # 词表大小 V = 6词 | one-hot |
|---|---|
我 |
|
爱 |
|
猫 |
|
三个毛病:
毛病 | 具体 |
|---|---|
① 太长 | 词表 5 万个词,每个词就是长度 5 万的向量,其中 49999 个是 0 |
② 没有相似性 | 「猫」和「狗」的向量距离,和「猫」和「你」完全一样 |
③ 内存爆炸 | 一句话 20 个词 → 20 × 50000 个 float |
第 ② 条最要命
one-hot 里「猫」和「狗」的内积是 0, 「猫」和「你」的内积也是 0。
对模型来说,这三个词毫无关系。
可我们知道猫和狗都是动物、都能当主语—— 这个知识在 one-hot 里完全没有表达。
embedding:查表
换个思路:准备一张表,每个词对应一行向量。
词表索引 → 向量(维度 d=4) 0 我 [ 0.2, -0.5, 0.1, 0.8] 1 爱 [ 0.9, 0.3, -0.2, 0.1] 2 你 [ 0.1, -0.4, 0.2, 0.7] 3 猫 [-0.6, 0.8, 0.3, -0.1] 4 狗 [-0.5, 0.7, 0.4, -0.2] 5 。 [ 0.0, 0.0, 0.0, 0.1]这张表叫 embedding 矩阵,形状是 (词表大小, 向量维度)。
「把词变成向量」这个操作,就是按索引查一行。
one-hot | embedding | |
|---|---|---|
维度 | 50,000(词表大小) | 64 / 128 / 300(你定) |
参数 | 0(是固定的) |
|
相似性 | 全部为 0 | 可以学出来 |
为什么 embedding 能学到相似性
关键:这张表是训练出来的,不是人写的。
如果「猫」和「狗」在训练数据里经常出现在相似的上下文里 (「我养了一只___」), 模型为了让预测更准,会把它们的向量推得越来越近。
一句话理解
embedding 就是「让模型自己决定这个词该长什么样」。
人只决定维度(64 还是 300), 具体每个数是几交给梯度下降。
用 PyTorch 写
一行就够:
import torch import torch.nn as nn embedding = nn.Embedding(num_embeddings=6, embedding_dim=4) print(embedding.weight.shape) # torch.Size([6, 4])用法是喂索引,不是喂 one-hot:
indices = torch.tensor([0, 1, 2, 3]) # 我 爱 你 猫 vectors = embedding(indices) print(vectors.shape) # torch.Size([4, 4])输入 | 输出 |
|---|---|
|
|
|
|
embedding 就是一次矩阵乘法
Embedding(V, d) 等价于: one_hot(索引) @ 权重矩阵。
但因为 one-hot 里只有一个 1,结果就是取出权重矩阵的那一行。
所以 PyTorch 直接按索引取,不做那次没意义的乘法—— 快得多,也省内存。
embedding 从哪来
三条路:
做法 | 怎么做 | 什么时候用 |
|---|---|---|
① 随机初始化,跟着训练 |
| 数据够多(几十万句以上) |
② 用别人训好的 | 下载词向量,灌进 | 数据少,但词表里的词是常见的 |
③ 预训练 + 微调 | 灌进去,但设 | 两者兼顾 |
常用的中文预训练词向量
名字 | 维度 | 词表 | 特点 |
|---|---|---|---|
腾讯词向量 | 200 / 100 | 800 万 | 覆盖最广,含大量短语 |
Chinese-Word-Vectors | 300 | 几十万 | 多种语料可选 |
fastText 中文 | 300 | — | 能处理未登录词(按子词拼) |
灌进去的写法:
import numpy as np import torch import torch.nn as nn # 假设 pretrained 是一个 (V, d) 的 numpy 数组,行顺序和你的词表一致 pretrained = np.random.randn(10000, 300).astype(np.float32) embedding = nn.Embedding(num_embeddings=10000, embedding_dim=300) embedding.weight.data.copy_(torch.from_numpy(pretrained)) # 冻结:不跟着训练 embedding.weight.requires_grad = False顺序必须对上
预训练词向量是一个「词 → 向量」的文件。
第 i 行必须对应你词表里的第 i 个词。 对错了不会报错,但模型学到的全是垃圾。
正确做法:建词表时按预训练文件的顺序来,或者建一个「词 → 行号」的映射再逐行取。
一个小实验:看 embedding 学到了什么
训练完之后,可以算两个词向量的余弦相似度,看它们近不近。
import torch import torch.nn.functional as F embedding = nn.Embedding(6, 4) indices = torch.tensor([3, 4, 1]) # 猫 狗 爱 vecs = embedding(indices) similarity = F.cosine_similarity(vecs[0], vecs[1], dim=0) print(similarity) # 未训练时,接近 0,随机的训练好的 embedding 里,「猫」和「狗」的相似度会明显高于 「猫」和「爱」。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
one-hot 维度 | = 词表大小 | 5 万词表 → 5 万维 |
embedding 维度 | 64 / 128 / 300 | 自己定,小得多 |
参数量 |
| 5 万 × 64 = 320 万 |
下一课
embedding 要按索引查表,那「词 → 索引」这张对照表怎么建?
下一课讲写词表——这是整个项目里代码最绕的一块。