embedding:把词变成向量

这一课在哪

上一课算 RNN 的时候,直接把 xtx_t 当成一个向量用了。

但一个词不是向量,它是个字符串。 「猫」这两个字节,神经网络没法做乘法。

这一课解决这件事:怎么把词变成一个能参与计算的向量。

最直接的办法:one-hot

先给每个词一个编号,然后变成一个「只有一个 1」的向量。

# 词表:6 个词 vocab = ["我", "爱", "你", "猫", "狗", "。"] # 索引: 0 1 2 3 4 5 # 词表大小 V = 6

词

one-hot

我

[1, 0, 0, 0, 0, 0]

爱

[0, 1, 0, 0, 0, 0]

猫

[0, 0, 0, 1, 0, 0]

三个毛病:

毛病

具体

① 太长

词表 5 万个词,每个词就是长度 5 万的向量,其中 49999 个是 0

② 没有相似性

「猫」和「狗」的向量距离,和「猫」和「你」完全一样

③ 内存爆炸

一句话 20 个词 → 20 × 50000 个 float

第 ② 条最要命

one-hot 里「猫」和「狗」的内积是 0, 「猫」和「你」的内积也是 0。

对模型来说,这三个词毫无关系。

可我们知道猫和狗都是动物、都能当主语—— 这个知识在 one-hot 里完全没有表达。

embedding:查表

换个思路:准备一张表,每个词对应一行向量。

词表索引 → 向量(维度 d=4) 0 我 [ 0.2, -0.5, 0.1, 0.8] 1 爱 [ 0.9, 0.3, -0.2, 0.1] 2 你 [ 0.1, -0.4, 0.2, 0.7] 3 猫 [-0.6, 0.8, 0.3, -0.1] 4 狗 [-0.5, 0.7, 0.4, -0.2] 5 。 [ 0.0, 0.0, 0.0, 0.1]

这张表叫 embedding 矩阵,形状是 (词表大小, 向量维度)。

「把词变成向量」这个操作,就是按索引查一行。

one-hot

embedding

维度

50,000(词表大小)

64 / 128 / 300(你定)

参数

0(是固定的)

50000 × 64 = 320 万

相似性

全部为 0

可以学出来

为什么 embedding 能学到相似性

关键:这张表是训练出来的,不是人写的。

如果「猫」和「狗」在训练数据里经常出现在相似的上下文里 (「我养了一只___」), 模型为了让预测更准,会把它们的向量推得越来越近。

一句话理解

embedding 就是「让模型自己决定这个词该长什么样」。

人只决定维度(64 还是 300), 具体每个数是几交给梯度下降。

用 PyTorch 写

一行就够:

import torch import torch.nn as nn embedding = nn.Embedding(num_embeddings=6, embedding_dim=4) print(embedding.weight.shape) # torch.Size([6, 4])

用法是喂索引,不是喂 one-hot:

indices = torch.tensor([0, 1, 2, 3]) # 我 爱 你 猫 vectors = embedding(indices) print(vectors.shape) # torch.Size([4, 4])

输入

输出

(4,) 的整数

(4, 4) 的向量

(batch, seq_len)

(batch, seq_len, dim)

embedding 就是一次矩阵乘法

Embedding(V, d) 等价于: one_hot(索引) @ 权重矩阵。

但因为 one-hot 里只有一个 1,结果就是取出权重矩阵的那一行。

所以 PyTorch 直接按索引取,不做那次没意义的乘法—— 快得多,也省内存。

embedding 从哪来

三条路:

做法

怎么做

什么时候用

① 随机初始化,跟着训练

nn.Embedding(V, d),不管它

数据够多(几十万句以上)

② 用别人训好的

下载词向量,灌进 weight.data

数据少,但词表里的词是常见的

③ 预训练 + 微调

灌进去,但设 requires_grad=True

两者兼顾

常用的中文预训练词向量

名字

维度

词表

特点

腾讯词向量

200 / 100

800 万

覆盖最广,含大量短语

Chinese-Word-Vectors

300

几十万

多种语料可选

fastText 中文

300

—

能处理未登录词(按子词拼)

灌进去的写法:

import numpy as np import torch import torch.nn as nn # 假设 pretrained 是一个 (V, d) 的 numpy 数组,行顺序和你的词表一致 pretrained = np.random.randn(10000, 300).astype(np.float32) embedding = nn.Embedding(num_embeddings=10000, embedding_dim=300) embedding.weight.data.copy_(torch.from_numpy(pretrained)) # 冻结:不跟着训练 embedding.weight.requires_grad = False

顺序必须对上

预训练词向量是一个「词 → 向量」的文件。

第 i 行必须对应你词表里的第 i 个词。 对错了不会报错,但模型学到的全是垃圾。

正确做法:建词表时按预训练文件的顺序来,或者建一个「词 → 行号」的映射再逐行取。

一个小实验:看 embedding 学到了什么

训练完之后,可以算两个词向量的余弦相似度,看它们近不近。

import torch import torch.nn.functional as F embedding = nn.Embedding(6, 4) indices = torch.tensor([3, 4, 1]) # 猫 狗 爱 vecs = embedding(indices) similarity = F.cosine_similarity(vecs[0], vecs[1], dim=0) print(similarity) # 未训练时,接近 0,随机的

训练好的 embedding 里,「猫」和「狗」的相似度会明显高于 「猫」和「爱」。

这一课留下的三个数

数

值

含义

one-hot 维度

= 词表大小

5 万词表 → 5 万维

embedding 维度

64 / 128 / 300

自己定,小得多

参数量

V × d

5 万 × 64 = 320 万

下一课

embedding 要按索引查表,那「词 → 索引」这张对照表怎么建?

下一课讲写词表——这是整个项目里代码最绕的一块。