去哪继续学

这一课在哪

这是全书最后一课。前面三十八章从「什么是机器学习」一路写到 Transformer。

这一课做三件事:说清还有哪些方向、每个方向在解决什么、今天的前沿模型大概长什么样。

先看清自己站在哪

你已经有的

在哪个位置

从线性回归到 CNN 的基础

能读懂任何一篇入门论文

手写过 seq2seq / 注意力 / Transformer

能自己搭一个能跑的模型

跑过完整训练和评估

知道数字是怎么来的、会踩哪些坑

知道今天的模型换了哪些零件

看得懂 Llama 的结构图

缺的不是「看懂」,是「做一个真正有用的东西」。 后面每个方向都是往这个目标走。

方向一:数据与分词

在解决什么

你现在的分词是英文按空格、中文按字。 这在真实场景里不够用:

问题

例子

词表爆炸

英文 24,203 个词已经算小的,真实语料上百万

未登录词

没见过的词只能标 <unk>,信息全丢

形态变化

run / runs / running 在词表里是三个词

主流的解法:BPE

不按词切,按「子词」切。

running → run + ning unhappiness → un + happi + ness 中文几乎不动,一个字就是一个 token

做法很朴素:

步骤

做什么

1

先把所有词拆成字母

2

统计哪两个相邻片段一起出现最多

3

把它们合并成一个新片段

4

重复几万次

结果是:常见词是一个 token,罕见词被拆成几个常见片段。 词表固定(几万),但任何词都能表示。

为什么这件事值得先学

分词决定了模型看到的世界。

中文一个字一个 token,模型处理一句话要的 token 数是英文的两三倍—— 这直接影响成本、上下文长度、甚至算术能力。

很多「模型为什么算不对数学题」的讨论,最后都追到分词上。

方向二:预训练

在解决什么

第 37.10 课你训了 5 轮、38 万对数据。真实预训练是万亿 token、几个月、几千张卡。

要学的东西

主题

为什么重要

分布式训练

一张卡装不下,要把模型切开铺到几百张卡上

混合精度

fp16/bf16 训练,显存和速度都翻倍

梯度累积

显存不够时用小 batch 攒出大 batch 的效果

检查点与恢复

训一个月总会挂,要能接着跑

数据并行:每张卡一份完整模型,各算各的 batch,最后同步梯度。

张量并行:把一个矩阵切成几块放不同卡上,算完拼起来。

流水线并行:把不同的层放不同卡上,像流水线一样传。

方向三:微调

在解决什么

预训练完的模型什么都会一点,但不会你要的那件事。 全参数微调要重训整个模型——太贵。

LoRA:只训一小块

思路:冻结原来的大矩阵,在旁边加一对小矩阵。

原来的: W (512 × 512) 冻结,不动 旁边加: A (512 × 8) × B (8 × 512) 只训这两个 输出 = W·x + B·A·x

全参数微调

LoRA

要训的参数

512×512 = 262,144

512×8×2 = 8,192

比例

100%

3%

显存

要存全部梯度

只存小矩阵

效果

基准

接近

为什么管用?因为「适应一个新任务」所需的改动,本来就很小—— 低秩就够了。

好处是可以给同一个底座挂很多个 LoRA: 一个管写代码、一个管写文案,切换时只换那几 MB。

方向四:对齐

在解决什么

第 38.3 课说过:预训练完的模型只会续写,不会回答。

三个阶段

阶段

怎么做

解决什么

SFT(指令微调)

喂几万条「问题 → 好答案」

学会「看到问题该回答」

RM(奖励模型)

让人给两个答案排序,训一个打分器

把「什么算好」变成可计算的分数

RLHF / DPO

用这个分数去调模型

让输出更符合人的偏好

DPO 是 RLHF 的简化版:跳过「训奖励模型」, 直接用偏好数据调模型,更稳也更好实现。

对齐不是「让它更聪明」

对齐不提升能力,它决定把已有能力怎么用出来。

一个对齐很好的小模型,用起来会比一个没对齐的大模型舒服。

但也别指望对齐能补上知识缺口——那要靠预训练。

方向五:推理优化

在解决什么

第 37.11 课的 KV 缓存省了计算,但吃显存。 真实服务里,一个 A100 能同时服务几个用户,全看缓存怎么管。

技术

一句话原理

PagedAttention

把 KV 缓存像操作系统内存一样分页管理,不用预留连续空间

连续批处理

谁生成完了就立刻换新请求进来,不让 GPU 空等

量化

权重和缓存从 fp16 压到 int8/int4,显存减半到四分之一

投机解码

用小模型先草拟几个词,大模型一次验证多个

蒸馏

让小模型学大模型的输出分布

这一块是工程味最重的方向,也是真正决定「一个模型能不能上线赚钱」的地方。

方向六:多模态与生成

在解决什么

第 38.4 课讲了 ViT:图像切成块就能喂进 Transformer。 再往前一步,就是让模型同时理解文字和图像,甚至生成图像和视频。

文字 + 图像怎么对齐

CLIP 的思路很直接:拿 4 亿对「图片 + 描述」, 让配对的图片和文字在向量空间里靠近,不配对的推远。

图片编码器 ──► 图向量 ┐ ├─ 算相似度,配对的要更高 文字编码器 ──► 文向量 ┘

训完之后,「猫的图片」和「一只猫」的向量很近—— 文字和图像被映射到同一个空间。

这一步打通之后,「用文字搜图」「零样本分类」全都能做。

图像怎么生成:扩散模型

思路和前面所有模型都不同——不是「一次算出来」,而是「一步步去噪」。

阶段

做什么

训练

给一张清晰图片,人为加噪声,让模型学「把噪声去掉」

生成

从纯噪声开始,反复去掉一点点,几十步后变成清晰图片

控制

每一步都 把文字条件喂进去——所以能「按描述画」

为什么用 Transformer 做这个

去噪网络本身通常是一个 U-Net(第 31 章学的卷积结构), 但中间会插入注意力层负责「让画面各部分互相对齐」。

最新的模型(DiT)干脆把 U-Net 换成纯 Transformer—— 把图像也切成块,和 ViT 一样。

还是那个套路:切成序列,交给 Transformer。

视频:多一个维度

视频 = 一堆图片 + 时间。切块时多切一个时间维度:

图像: (高, 宽, 通道) → 切成 196 块 视频: (时间, 高, 宽, 通道) → 切成几千块

难点不在「切」,在序列太长—— 注意力是平方复杂度,几万块直接算爆。

所以视频模型几乎都用了第 37.11 课那套思路的各种变体: 分块算、压缩缓存、局部注意力。

今天的前沿模型大概长什么样

类别

代表

核心思路

大语言模型

GPT、Llama、Qwen、DeepSeek

解码器 + RoPE + GQA + MoE,预测下一个词

图像生成

Stable Diffusion、FLUX

扩散去噪,Transformer 或 U-Net 当骨架

视频生成

Sora、可灵、Veo

时空切块 + 扩散,序列极长

多模态理解

GPT-4V、Qwen-VL、Gemini

图像块和文字拼成一条序列

语音

Whisper

音频切片,编码器-解码器

代码

Copilot、Claude Code

还是语言模型,只是语料换成代码

看这一列,会发现一件有意思的事

除了扩散模型那一支, 其余全部是「Transformer + 不同的切块方式」。

文字切成词、图像切成块、语音切成段、视频切成时空块—— 骨架完全一样。

你在第 37 章手写的那十二层,就是今天所有这些东西的骨架。

按兴趣挑一条路

如果你对……感兴趣

从这里开始

模型怎么训出来

BPE 分词 → 分布式训练 → 混合精度

怎么做出能用的产品

LoRA 微调 → 推理优化 → 部署

模型为什么会「听话」

SFT → 奖励模型 → DPO

让模型看懂图片

ViT → CLIP → 多模态拼接

让模型画图

扩散原理 → U-Net / DiT → 条件控制

让模型跑得更快

KV 缓存 → PagedAttention → 量化

最后

这本书从「机器学习在解决什么问题」开始,到「一台能跑翻译的 Transformer」结束。

中间那些课,每一课都尽量做到一件事: 给你能跑的代码和能对上的数字,而不是一句「据说效果不错」。

你手算过注意力的权重,自己实现过八个头的拆分, 跑出过 BLEU 19.01 和 19.76,也见过训练崩掉时那个 116 的损失。

这些数字比任何一张架构图都更接近真实。

接下来

挑一个方向,做一个自己的东西。

哪怕只是给一个小模型挂个 LoRA 做分类, 或者用 ViT 训一个自己的图像分类器——跑通一次,比读十篇论文有用。