规模:从 65M 到 671B
这一课在哪
上一课把零件换了一圈,但参数量没变。
真正让 Transformer 变成「大模型」的,是规模。
七年的跨度
模型 | 年份 | 参数 | 倍数 |
|---|---|---|---|
论文 base | 2017 | 65M | 1× |
BERT-large | 2018 | 340M | 5× |
GPT-2 | 2019 | 1.5B | 23× |
GPT-3 | 2020 | 175B | 2,700× |
Llama 3 405B | 2024 | 405B | 6,200× |
DeepSeek-V3 | 2024 | 671B(37B 激活) | 10,300× |
七年,一万倍。而骨架基本没动——上一课那张表就是全部改动。
这件事本身就很反常
历史上很少有架构能撑住四个数量级的放大还保持不变。
RNN 加两个数量级就崩了(第 34.1 课的梯度问题)。 Transformer 撑住了——因为它的路径长度是 O(1)。
第 37.1 课那张「三种架构对比表」,真正的价值在这里才显现。
Scaling Law:为什么敢一直放大
2020 年有人发现:loss 和规模之间是幂律关系。
是参数量, 大约是 0.07~0.1。
翻成大白话:
参数涨 | loss 大约降 |
|---|---|
10 倍 | 15%~20% |
100 倍 | 30%~35% |
看着不多,但这是可预测的。
可预测 = 敢投钱
在这之前,谁也不知道把模型放大一倍会怎样——可能变好,可能崩。
Scaling Law 让「多花十倍算力能换来多少提升」变成一个可以算的问题。
这是大模型军备竞赛的技术前提。
但光堆参数不够
后来的研究发现:参数和训练数据要同比例涨。
说法 | 建议 |
|---|---|
早期(2020) | 参数优先,数据少一点没关系 |
现在 | 每个参数配 20 个 token 左右 |
Llama 3 405B 用了 15 万亿 token—— 平均每个参数 37 个 token,比「教科书建议」还多。
为什么?因为高质量数据快用完了。
互联网上的文本是有限的。当模型大到一定程度, 不是算力不够,是没东西喂了。
今天的模型怎么「不那么贵」
既然数据有限、算力有限,就得想办法提高效率。
① MoE:只激活一部分
把前馈网络拆成很多个「专家」,每个 token 只走其中两个。
普通前馈: 每个 token 走同一个 4d 网络 MoE: 每个 token 走 8 个专家里的 2 个总参数 | 每个 token 实际用 | |
|---|---|---|
DeepSeek-V3 | 671B | 37B |
Mixtral 8x7B | 47B | 13B |
MoE 的精髓
参数量(知识容量)很大,但每次计算只用一小部分(省算力)。
671B 的模型,跑起来的速度和 37B 的差不多, 但能力接近一个完整的 671B 稠密模型。
代价是显存——所有专家都得装进显卡。
② 更长的上下文
2017 年论文处理的是几十个词。今天动辄几十万 token。
这件事之所以可能,靠的正是第 37.11 课那个 KV 缓存和 RoPE 的外推能力。
③ 更好的数据
今天各家花在数据清洗和配比上的力气,不比调模型少。
代码、数学、多语言、教科书——按什么比例混,直接影响最终能力。
三段式训练
今天训一个大模型,不是「训一次」,是三段:
阶段 | 做什么 | 数据量 | 目标 |
|---|---|---|---|
① 预训练 | 预测下一个词 | 万亿 token | 学会语言和世界知识 |
② 指令微调 | 问答对,学「听指令」 | 几十万条 | 从「续写」变成「回答」 |
③ 对齐 | 人类偏好(RLHF / DPO) | 几万条 | 有用、无害、诚实 |
三个阶段的量级差得离谱
预训练 万亿 token,指令微调几十万条, 对齐几万条。
差了七八个数量级。
预训练决定能力上限,后两步只决定「怎么用出来」。
对齐为什么需要
预训练完的模型只会一件事:接着往下写。
问:中国的首都是哪里? 预训练模型:中国的首都是哪里?这是一个常见的问题。很多人……它把问题当成文章的开头,接着写下去——技术上完全正确, 但不是用户要的。
指令微调就是教它:看到问题,该回答,不该续写。
为什么不是「一直放大」
瓶颈 | 现状 |
|---|---|
数据 | 高质量文本接近用尽 |
算力 | 训练一次要几万张卡跑几个月 |
电力 | 单个数据中心的供电成了硬约束 |
推理成本 | 模型越大,服务一个用户越贵 |
所以 2024 年之后,重点从「更大」转向了「更高效」—— MoE、蒸馏、量化、更好的数据配比。
这一课留下的三个数
数 | 值 | 含义 |
|---|---|---|
七年放大 | 约 1 万倍 | 65M → 671B |
数据配比 | 每参数 20 token | Llama 3 用到 37 |
MoE 激活比 | 37B / 671B | 约 5.5% |
下一课
到这里讲的都是文本。
下一课看一件事:这套架构换个领域也能用—— 把图片切成小块,当成词喂进去就行。