ViT:图像也是序列
这一课在哪
前面十一章都在处理文字。这一课看一件更有意思的事:
这套架构,换个领域照样能用。
障碍只有一个
Transformer 吃的是序列:
[词1, 词2, 词3, ...] 每个元素一个向量图像是三维的:
高 × 宽 × 通道 比如 224 × 224 × 3没有「序列」这个东西,所以喂不进去。
那怎么办?一句话就说完:
把图切成小块,当成词
224×224 的图,切成 16×16 的小块:
块
196 个「词」,排成一行,就是一个序列。
论文标题就叫这个意思——「一张图值 16×16 个词」。
具体怎么做
① 切块
一张 224×224×3 的图 ┌──┬──┬──┬──┐ ├──┼──┼──┼──┤ 切成 14×14 = 196 个 16×16×3 的小块 ├──┼──┼──┼──┤ └──┴──┴──┴──┘ ↓ 196 个块,每块 16×16×3 = 768 个数每块拍平成一个 768 维的向量——正好就是「一个词」。
② 加一个分类头
在 196 个块前面插一个特殊向量,和 BERT 的 [CLS] 一样:
[cls, 块1, 块2, ..., 块196] 长度 197最后拿 cls 那个位置的输出做分类。
③ 加位置编码 —— 不能省
第 37.4 课说过:自注意力对顺序不敏感。
而图片切开是有顺序的——左上角那块和右下角那块完全不同。
所以位置编码在这里同样必须加,而且它编码的是 「这块图在哪个位置」。
有意思的是:ViT 用的是可学习的位置编码, 不是正弦那套。因为块数是固定的(196 个),不需要外推。
然后就是普通的 Transformer 编码器
把 197 个向量喂进去,跑六层,取 cls 位置的输出做分类。
import torch import torch.nn as nn class PatchEmbed(nn.Module): """把图切成块并投影成向量——本质上就是一个大 stride 的卷积""" def __init__(self, img_size=224, patch=16, in_ch=3, d_model=768): super().__init__() self.proj = nn.Conv2d(in_ch, d_model, kernel_size=patch, stride=patch) def forward(self, x): # x: (B, 3, 224, 224) x = self.proj(x) # (B, d_model, 14, 14) x = x.flatten(2) # (B, d_model, 196) return x.transpose(1, 2) # (B, 196, d_model) class ViT(nn.Module): def __init__(self, n_classes=1000, d_model=768, n_layers=12): super().__init__() self.patch = PatchEmbed(d_model=d_model) # 分类头 [cls] self.cls = nn.Parameter(torch.randn(1, 1, d_model)) # 位置编码:196 + 1 = 197 个位置 self.pos = nn.Parameter(torch.randn(1, 197, d_model)) # 就是第 37.3 课那个编码器层,直接用 self.layers = nn.ModuleList([EncoderLayer(d_model) for _ in range(n_layers)]) self.norm = nn.LayerNorm(d_model) self.head = nn.Linear(d_model, n_classes) def forward(self, img): x = self.patch(img) # (B, 196, d) cls = self.cls.expand(x.size(0), -1, -1) x = torch.cat([cls, x], dim=1) # (B, 197, d) x = x + self.pos for layer in self.layers: x = layer(x) # 没有掩码,全部互看 x = self.norm(x) return self.head(x[:, 0]) # 只取 cls 位置看清楚这段代码
self.layers 那一行——用的就是第 37.3 课的编码器层, 一行没改。
变的只有两处:输入怎么来(切块)、 输出怎么用(取 cls)。
中间那十二层,和你手写的完全一样。
和 CNN 比,差在哪
CNN(第 28–31 章) | ViT | |
|---|---|---|
看多远 | 靠卷积层层堆叠,第一层只看 3×3 | 第一层就能看全图 |
位置感 | 卷积自带(局部性写死在结构里) | 要靠位置编码教 |
数据需求 | 几万张就能训 | 要几千万张 |
能不能扩展 | 到一定程度就涨不动 | 数据越多越好 |
ViT 刚出来时在小数据上打不过 CNN
论文里在 ImageNet(120 万张)上直接训 ViT, 效果不如同规模的 ResNet。
换成 3 亿张图的私有数据集再训——反超了。
原因就在上面第三行: CNN 把「局部性」「平移不变」这些先验写死在结构里, 所以小数据也能学好。
ViT 没有这些先验,必须从数据里学出来——所以要多得多的数据。
这就是「归纳偏置」的取舍:先验写得越多,小数据越好,但上限越低。
而这些年数据一直在变多,所以天平倒向了「不要先验」的那一边。
不止图像
同一套思路,换一种切法就能用在别处:
数据 | 切成什么 | 代表 |
|---|---|---|
图像 | 16×16 的块 | ViT |
语音 | 25ms 的音频片段 | Whisper |
视频 | 一段时间内的图块 | VideoMAE、Sora |
点云 | 空间中的点 | Point Transformer |
只要能表示成一串向量,Transformer 就能用。 这是它比 CNN、RNN 更通用的地方。
一个更彻底的想法:图文同框
既然图和文都能变成序列,那能不能放进同一个模型?
可以。把图片块和文字词拼成一条序列, 前面加图片、后面加问题:
[图块1, ..., 图块196, 这, 是, 什, 么] → 一只猫今天的多模态模型(GPT-4V、Qwen-VL、Gemini)基本都是这个路子。
这就是「统一」的含义
不再需要为每种数据设计专门的网络结构。
图像专门用 CNN、语音专门用 RNN、文本专门用 Transformer—— 这套「各管一摊」的做法正在消失。
现在是一个模型吃所有模态,区别只在「怎么把数据切成一串向量」。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
切块大小 | 16×16 | 224/16 = 14,14² = 196 块 |
序列长度 | 197 | 196 块 + 1 个 cls |
每块向量 | 768 | 16×16×3 = 768,正好一个词的维度 |
下一课
架构讲完了。最后一课—— 往前走还有哪些方向,以及今天那些前沿模型到底在做什么。