ViT:图像也是序列

这一课在哪

前面十一章都在处理文字。这一课看一件更有意思的事:

这套架构,换个领域照样能用。

障碍只有一个

Transformer 吃的是序列:

[词1, 词2, 词3, ...] 每个元素一个向量

图像是三维的:

高 × 宽 × 通道 比如 224 × 224 × 3

没有「序列」这个东西,所以喂不进去。

那怎么办?一句话就说完:

把图切成小块,当成词

224×224 的图,切成 16×16 的小块:

(224/16)2=14×14=196(224 / 16)^2 = 14 \times 14 = 196 块

196 个「词」,排成一行,就是一个序列。

论文标题就叫这个意思——「一张图值 16×16 个词」。

具体怎么做

① 切块

一张 224×224×3 的图 ┌──┬──┬──┬──┐ ├──┼──┼──┼──┤ 切成 14×14 = 196 个 16×16×3 的小块 ├──┼──┼──┼──┤ └──┴──┴──┴──┘ ↓ 196 个块,每块 16×16×3 = 768 个数

每块拍平成一个 768 维的向量——正好就是「一个词」。

② 加一个分类头

在 196 个块前面插一个特殊向量,和 BERT 的 [CLS] 一样:

[cls, 块1, 块2, ..., 块196] 长度 197

最后拿 cls 那个位置的输出做分类。

③ 加位置编码 —— 不能省

第 37.4 课说过:自注意力对顺序不敏感。

而图片切开是有顺序的——左上角那块和右下角那块完全不同。

所以位置编码在这里同样必须加,而且它编码的是 「这块图在哪个位置」。

有意思的是:ViT 用的是可学习的位置编码, 不是正弦那套。因为块数是固定的(196 个),不需要外推。

然后就是普通的 Transformer 编码器

把 197 个向量喂进去,跑六层,取 cls 位置的输出做分类。

import torch import torch.nn as nn class PatchEmbed(nn.Module): """把图切成块并投影成向量——本质上就是一个大 stride 的卷积""" def __init__(self, img_size=224, patch=16, in_ch=3, d_model=768): super().__init__() self.proj = nn.Conv2d(in_ch, d_model, kernel_size=patch, stride=patch) def forward(self, x): # x: (B, 3, 224, 224) x = self.proj(x) # (B, d_model, 14, 14) x = x.flatten(2) # (B, d_model, 196) return x.transpose(1, 2) # (B, 196, d_model) class ViT(nn.Module): def __init__(self, n_classes=1000, d_model=768, n_layers=12): super().__init__() self.patch = PatchEmbed(d_model=d_model) # 分类头 [cls] self.cls = nn.Parameter(torch.randn(1, 1, d_model)) # 位置编码:196 + 1 = 197 个位置 self.pos = nn.Parameter(torch.randn(1, 197, d_model)) # 就是第 37.3 课那个编码器层,直接用 self.layers = nn.ModuleList([EncoderLayer(d_model) for _ in range(n_layers)]) self.norm = nn.LayerNorm(d_model) self.head = nn.Linear(d_model, n_classes) def forward(self, img): x = self.patch(img) # (B, 196, d) cls = self.cls.expand(x.size(0), -1, -1) x = torch.cat([cls, x], dim=1) # (B, 197, d) x = x + self.pos for layer in self.layers: x = layer(x) # 没有掩码,全部互看 x = self.norm(x) return self.head(x[:, 0]) # 只取 cls 位置

看清楚这段代码

self.layers 那一行——用的就是第 37.3 课的编码器层, 一行没改。

变的只有两处:输入怎么来(切块)、 输出怎么用(取 cls)。

中间那十二层,和你手写的完全一样。

和 CNN 比,差在哪

CNN(第 28–31 章)

ViT

看多远

靠卷积层层堆叠,第一层只看 3×3

第一层就能看全图

位置感

卷积自带(局部性写死在结构里)

要靠位置编码教

数据需求

几万张就能训

要几千万张

能不能扩展

到一定程度就涨不动

数据越多越好

ViT 刚出来时在小数据上打不过 CNN

论文里在 ImageNet(120 万张)上直接训 ViT, 效果不如同规模的 ResNet。

换成 3 亿张图的私有数据集再训——反超了。

原因就在上面第三行: CNN 把「局部性」「平移不变」这些先验写死在结构里, 所以小数据也能学好。

ViT 没有这些先验,必须从数据里学出来——所以要多得多的数据。

这就是「归纳偏置」的取舍:先验写得越多,小数据越好,但上限越低。

而这些年数据一直在变多,所以天平倒向了「不要先验」的那一边。

不止图像

同一套思路,换一种切法就能用在别处:

数据

切成什么

代表

图像

16×16 的块

ViT

语音

25ms 的音频片段

Whisper

视频

一段时间内的图块

VideoMAE、Sora

点云

空间中的点

Point Transformer

只要能表示成一串向量,Transformer 就能用。 这是它比 CNN、RNN 更通用的地方。

一个更彻底的想法:图文同框

既然图和文都能变成序列,那能不能放进同一个模型?

可以。把图片块和文字词拼成一条序列, 前面加图片、后面加问题:

[图块1, ..., 图块196, 这, 是, 什, 么] → 一只猫

今天的多模态模型(GPT-4V、Qwen-VL、Gemini)基本都是这个路子。

这就是「统一」的含义

不再需要为每种数据设计专门的网络结构。

图像专门用 CNN、语音专门用 RNN、文本专门用 Transformer—— 这套「各管一摊」的做法正在消失。

现在是一个模型吃所有模态,区别只在「怎么把数据切成一串向量」。

这一课留下的三个数

数

值

含义

切块大小

16×16

224/16 = 14,14² = 196 块

序列长度

197

196 块 + 1 个 cls

每块向量

768

16×16×3 = 768,正好一个词的维度

下一课

架构讲完了。最后一课—— 往前走还有哪些方向,以及今天那些前沿模型到底在做什么。