规模:从 65M 到 671B

这一课在哪

上一课把零件换了一圈,但参数量没变。

真正让 Transformer 变成「大模型」的,是规模。

七年的跨度

模型

年份

参数

倍数

论文 base

2017

65M

1×

BERT-large

2018

340M

5×

GPT-2

2019

1.5B

23×

GPT-3

2020

175B

2,700×

Llama 3 405B

2024

405B

6,200×

DeepSeek-V3

2024

671B(37B 激活)

10,300×

七年,一万倍。而骨架基本没动——上一课那张表就是全部改动。

这件事本身就很反常

历史上很少有架构能撑住四个数量级的放大还保持不变。

RNN 加两个数量级就崩了(第 34.1 课的梯度问题)。 Transformer 撑住了——因为它的路径长度是 O(1)。

第 37.1 课那张「三种架构对比表」,真正的价值在这里才显现。

Scaling Law:为什么敢一直放大

2020 年有人发现:loss 和规模之间是幂律关系。

L(N)∝N−αL(N) \propto N^{-\alpha}

NN 是参数量,α\alpha 大约是 0.07~0.1。

翻成大白话:

参数涨

loss 大约降

10 倍

15%~20%

100 倍

30%~35%

看着不多,但这是可预测的。

可预测 = 敢投钱

在这之前,谁也不知道把模型放大一倍会怎样——可能变好,可能崩。

Scaling Law 让「多花十倍算力能换来多少提升」变成一个可以算的问题。

这是大模型军备竞赛的技术前提。

但光堆参数不够

后来的研究发现:参数和训练数据要同比例涨。

说法

建议

早期(2020)

参数优先,数据少一点没关系

现在

每个参数配 20 个 token 左右

Llama 3 405B 用了 15 万亿 token—— 平均每个参数 37 个 token,比「教科书建议」还多。

为什么?因为高质量数据快用完了。

互联网上的文本是有限的。当模型大到一定程度, 不是算力不够,是没东西喂了。

今天的模型怎么「不那么贵」

既然数据有限、算力有限,就得想办法提高效率。

① MoE:只激活一部分

把前馈网络拆成很多个「专家」,每个 token 只走其中两个。

普通前馈: 每个 token 走同一个 4d 网络 MoE: 每个 token 走 8 个专家里的 2 个

总参数

每个 token 实际用

DeepSeek-V3

671B

37B

Mixtral 8x7B

47B

13B

MoE 的精髓

参数量(知识容量)很大,但每次计算只用一小部分(省算力)。

671B 的模型,跑起来的速度和 37B 的差不多, 但能力接近一个完整的 671B 稠密模型。

代价是显存——所有专家都得装进显卡。

② 更长的上下文

2017 年论文处理的是几十个词。今天动辄几十万 token。

这件事之所以可能,靠的正是第 37.11 课那个 KV 缓存和 RoPE 的外推能力。

③ 更好的数据

今天各家花在数据清洗和配比上的力气,不比调模型少。

代码、数学、多语言、教科书——按什么比例混,直接影响最终能力。

三段式训练

今天训一个大模型,不是「训一次」,是三段:

阶段

做什么

数据量

目标

① 预训练

预测下一个词

万亿 token

学会语言和世界知识

② 指令微调

问答对,学「听指令」

几十万条

从「续写」变成「回答」

③ 对齐

人类偏好(RLHF / DPO)

几万条

有用、无害、诚实

三个阶段的量级差得离谱

预训练 万亿 token,指令微调几十万条, 对齐几万条。

差了七八个数量级。

预训练决定能力上限,后两步只决定「怎么用出来」。

对齐为什么需要

预训练完的模型只会一件事:接着往下写。

问:中国的首都是哪里? 预训练模型:中国的首都是哪里?这是一个常见的问题。很多人……

它把问题当成文章的开头,接着写下去——技术上完全正确, 但不是用户要的。

指令微调就是教它:看到问题,该回答,不该续写。

为什么不是「一直放大」

瓶颈

现状

数据

高质量文本接近用尽

算力

训练一次要几万张卡跑几个月

电力

单个数据中心的供电成了硬约束

推理成本

模型越大,服务一个用户越贵

所以 2024 年之后,重点从「更大」转向了「更高效」—— MoE、蒸馏、量化、更好的数据配比。

这一课留下的三个数

数

值

含义

七年放大

约 1 万倍

65M → 671B

数据配比

每参数 20 token

Llama 3 用到 37

MoE 激活比

37B / 671B

约 5.5%

下一课

到这里讲的都是文本。

下一课看一件事:这套架构换个领域也能用—— 把图片切成小块,当成词喂进去就行。