去哪继续学
这一课在哪
这是全书最后一课。前面三十八章从「什么是机器学习」一路写到 Transformer。
这一课做三件事:说清还有哪些方向、每个方向在解决什么、今天的前沿模型大概长什么样。
先看清自己站在哪
你已经有的 | 在哪个位置 |
|---|---|
从线性回归到 CNN 的基础 | 能读懂任何一篇入门论文 |
手写过 seq2seq / 注意力 / Transformer | 能自己搭一个能跑的模型 |
跑过完整训练和评估 | 知道数字是怎么来的、会踩哪些坑 |
知道今天的模型换了哪些零件 | 看得懂 Llama 的结构图 |
缺的不是「看懂」,是「做一个真正有用的东西」。 后面每个方向都是往这个目标走。
方向一:数据与分词
在解决什么
你现在的分词是英文按空格、中文按字。 这在真实场景里不够用:
问题 | 例子 |
|---|---|
词表爆炸 | 英文 24,203 个词已经算小的,真实语料上百万 |
未登录词 | 没见过的词只能标 |
形态变化 |
|
主流的解法:BPE
不按词切,按「子词」切。
running → run + ning unhappiness → un + happi + ness 中文几乎不动,一个字就是一个 token做法很朴素:
步骤 | 做什么 |
|---|---|
1 | 先把所有词拆成字母 |
2 | 统计哪两个相邻片段一起出现最多 |
3 | 把它们合并成一个新片段 |
4 | 重复几万次 |
结果是:常见词是一个 token,罕见词被拆成几个常见片段。 词表固定(几万),但任何词都能表示。
为什么这件事值得先学
分词决定了模型看到的世界。
中文一个字一个 token,模型处理一句话要的 token 数是英文的两三倍—— 这直接影响成本、上下文长度、甚至算术能力。
很多「模型为什么算不对数学题」的讨论,最后都追到分词上。
方向二:预训练
在解决什么
第 37.10 课你训了 5 轮、38 万对数据。真实预训练是万亿 token、几个月、几千张卡。
要学的东西
主题 | 为什么重要 |
|---|---|
分布式训练 | 一张卡装不下,要把模型切开铺到几百张卡上 |
混合精度 | fp16/bf16 训练,显存和速度都翻倍 |
梯度累积 | 显存不够时用小 batch 攒出大 batch 的效果 |
检查点与恢复 | 训一个月总会挂,要能接着跑 |
数据并行:每张卡一份完整模型,各算各的 batch,最后同步梯度。
张量并行:把一个矩阵切成几块放不同卡上,算完拼起来。
流水线并行:把不同的层放不同卡上,像流水线一样传。
方向三:微调
在解决什么
预训练完的模型什么都会一点,但不会你要的那件事。 全参数微调要重训整个模型——太贵。
LoRA:只训一小块
思路:冻结原来的大矩阵,在旁边加一对小矩阵。
原来的: W (512 × 512) 冻结,不动 旁边加: A (512 × 8) × B (8 × 512) 只训这两个 输出 = W·x + B·A·x全参数微调 | LoRA | |
|---|---|---|
要训的参数 | 512×512 = 262,144 | 512×8×2 = 8,192 |
比例 | 100% | 3% |
显存 | 要存全部梯度 | 只存小矩阵 |
效果 | 基准 | 接近 |
为什么管用?因为「适应一个新任务」所需的改动,本来就很小—— 低秩就够了。
好处是可以给同一个底座挂很多个 LoRA: 一个管写代码、一个管写文案,切换时只换那几 MB。
方向四:对齐
在解决什么
第 38.3 课说过:预训练完的模型只会续写,不会回答。
三个阶段
阶段 | 怎么做 | 解决什么 |
|---|---|---|
SFT(指令微调) | 喂几万条「问题 → 好答案」 | 学会「看到问题该回答」 |
RM(奖励模型) | 让人给两个答案排序,训一个打分器 | 把「什么算好」变成可计算的分数 |
RLHF / DPO | 用这个分数去调模型 | 让输出更符合人的偏好 |
DPO 是 RLHF 的简化版:跳过「训奖励模型」, 直接用偏好数据调模型,更稳也更好实现。
对齐不是「让它更聪明」
对齐不提升能力,它决定把已有能力怎么用出来。
一个对齐很好的小模型,用起来会比一个没对齐的大模型舒服。
但也别指望对齐能补上知识缺口——那要靠预训练。
方向五:推理优化
在解决什么
第 37.11 课的 KV 缓存省了计算,但吃显存。 真实服务里,一个 A100 能同时服务几个用户,全看缓存怎么管。
技术 | 一句话原理 |
|---|---|
PagedAttention | 把 KV 缓存像操作系统内存一样分页管理,不用预留连续空间 |
连续批处理 | 谁生成完了就立刻换新请求进来,不让 GPU 空等 |
量化 | 权重和缓存从 fp16 压到 int8/int4,显存减半到四分之一 |
投机解码 | 用小模型先草拟几个词,大模型一次验证多个 |
蒸馏 | 让小模型学大模型的输出分布 |
这一块是工程味最重的方向,也是真正决定「一个模型能不能上线赚钱」的地方。
方向六:多模态与生成
在解决什么
第 38.4 课讲了 ViT:图像切成块就能喂进 Transformer。 再往前一步,就是让模型同时理解文字和图像,甚至生成图像和视频。
文字 + 图像怎么对齐
CLIP 的思路很直接:拿 4 亿对「图片 + 描述」, 让配对的图片和文字在向量空间里靠近,不配对的推远。
图片编码器 ──► 图向量 ┐ ├─ 算相似度,配对的要更高 文字编码器 ──► 文向量 ┘训完之后,「猫的图片」和「一只猫」的向量很近—— 文字和图像被映射到同一个空间。
这一步打通之后,「用文字搜图」「零样本分类」全都能做。
图像怎么生成:扩散模型
思路和前面所有模型都不同——不是「一次算出来」,而是「一步步去噪」。
阶段 | 做什么 |
|---|---|
训练 | 给一张清晰图片,人为加噪声,让模型学「把噪声去掉」 |
生成 | 从纯噪声开始,反复去掉一点点,几十步后变成清晰图片 |
控制 | 每一步都 把文字条件喂进去——所以能「按描述画」 |
为什么用 Transformer 做这个
去噪网络本身通常是一个 U-Net(第 31 章学的卷积结构), 但中间会插入注意力层负责「让画面各部分互相对齐」。
最新的模型(DiT)干脆把 U-Net 换成纯 Transformer—— 把图像也切成块,和 ViT 一样。
还是那个套路:切成序列,交给 Transformer。
视频:多一个维度
视频 = 一堆图片 + 时间。切块时多切一个时间维度:
图像: (高, 宽, 通道) → 切成 196 块 视频: (时间, 高, 宽, 通道) → 切成几千块难点不在「切」,在序列太长—— 注意力是平方复杂度,几万块直接算爆。
所以视频模型几乎都用了第 37.11 课那套思路的各种变体: 分块算、压缩缓存、局部注意力。
今天的前沿模型大概长什么样
类别 | 代表 | 核心思路 |
|---|---|---|
大语言模型 | GPT、Llama、Qwen、DeepSeek | 解码器 + RoPE + GQA + MoE,预测下一个词 |
图像生成 | Stable Diffusion、FLUX | 扩散去噪,Transformer 或 U-Net 当骨架 |
视频生成 | Sora、可灵、Veo | 时空切块 + 扩散,序列极长 |
多模态理解 | GPT-4V、Qwen-VL、Gemini | 图像块和文字拼成一条序列 |
语音 | Whisper | 音频切片,编码器-解码器 |
代码 | Copilot、Claude Code | 还是语言模型,只是语料换成代码 |
看这一列,会发现一件有意思的事
除了扩散模型那一支, 其余全部是「Transformer + 不同的切块方式」。
文字切成词、图像切成块、语音切成段、视频切成时空块—— 骨架完全一样。
你在第 37 章手写的那十二层,就是今天所有这些东西的骨架。
按兴趣挑一条路
如果你对……感兴趣 | 从这里开始 |
|---|---|
模型怎么训出来 | BPE 分词 → 分布式训练 → 混合精度 |
怎么做出能用的产品 | LoRA 微调 → 推理优化 → 部署 |
模型为什么会「听话」 | SFT → 奖励模型 → DPO |
让模型看懂图片 | ViT → CLIP → 多模态拼接 |
让模型画图 | 扩散原理 → U-Net / DiT → 条件控制 |
让模型跑得更快 | KV 缓存 → PagedAttention → 量化 |
最后
这本书从「机器学习在解决什么问题」开始,到「一台能跑翻译的 Transformer」结束。
中间那些课,每一课都尽量做到一件事: 给你能跑的代码和能对上的数字,而不是一句「据说效果不错」。
你手算过注意力的权重,自己实现过八个头的拆分, 跑出过 BLEU 19.01 和 19.76,也见过训练崩掉时那个 116 的损失。
这些数字比任何一张架构图都更接近真实。
接下来
挑一个方向,做一个自己的东西。
哪怕只是给一个小模型挂个 LoRA 做分类, 或者用 ViT 训一个自己的图像分类器——跑通一次,比读十篇论文有用。