学习率:最重要的超参

如果只能调一个超参,调学习率。

它控制什么

w ← w - lr × grad ↑ 这一步迈多大

学习率

现象

太小

损失降得极慢,几百轮还停在初始值附近

合适

损失平稳下降

太大

损失震荡、突然跳大、甚至 nan

大得离谱

第一次更新就 nan

先动手试一下

下面这张图把梯度下降画出来了。损失曲面一个方向陡、一个方向平, 拖动学习率看轨迹怎么变:

四种典型情况都在里面:太小走不动、合适平稳收敛、 偏大在谷底横跳、太大直接发散。

注意一个现象:同一个学习率,陡的方向已经炸了,平的方向还在慢慢挪。 这就是后面动量要解决的问题。

数量级经验

优化器

起点

搜索范围

SGD

0.1

1e-2 ~ 1

SGD + momentum

0.01

1e-3 ~ 0.1

Adam / AdamW

1e-3

1e-5 ~ 1e-2

微调预训练模型

1e-5

1e-6 ~ 1e-4

按 10 倍搜,不要按线性搜

试 1e-5, 1e-4, 1e-3, 1e-2, 1e-1,不要试 0.001, 0.002, 0.003。

学习率的影响是数量级的,差一个数量级就是"能训"和"不能训"的区别。

找学习率:从小到大试

经验值只是起点。真实项目要自己试出来。

for lr in [1e-5, 3e-5, 1e-4, 3e-4, 1e-3, 3e-3, 1e-2]: model = build_model() # 每次重新初始化 opt = torch.optim.AdamW(model.parameters(), lr=lr) losses = train_a_few_steps(model, opt, loader, steps=100) print(f"lr={lr:g} loss={losses[-1]:.4f}")

挑损失降得最快、又没发散的那个。

自动找:LR finder

# 从 1e-7 开始,每步乘 1.1,记录损失 # 损失开始明显上升的前一个值,大约就是上限 # 实际用的时候取它的 1/10

调度:训练中改变学习率

上面说的都是“一个固定的学习率”。但固定值往往不是最优的。

固定学习率不是最优的。常见做法是先大后小—— 开始大步找方向,后来小步精调。

策略

形状

用法

StepLR

阶梯下降

每 N 轮乘 0.1

CosineAnnealingLR

余弦曲线

现在最常用

OneCycleLR

先升后降

快速训练

ReduceLROnPlateau

不降就降

看验证指标自动调

sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=epochs) for epoch in range(epochs): train_one_epoch() sched.step() # 在 optimizer.step() 之后

ReduceLROnPlateau 要传指标

sched = torch.optim.lr_scheduler.ReduceLROnPlateau( opt, mode="min", factor=0.1, patience=3 ) sched.step(val_loss) # 传指标,不是不传

热身(warmup)

训练最开始几步梯度可能很大,用大学习率容易直接崩。 先用很小的学习率跑几百步,再升到正常值。

# 前 5% 的步数里,lr 从 0 线性升到目标值

Transformer 训练几乎必用。小模型可以不用。

batch_size 和学习率的关系

批大了,梯度更准(噪声小),可以迈更大步。

# 线性缩放规则(粗略) lr_new = lr_old × (batch_new / batch_old)

这条规则只是起点

batch 从 32 加到 256(8 倍),lr 可以试着乘 8。

但批太大时线性规则会失效,需要配合 warmup。

诊断:打印学习率

print(opt.param_groups[0]["lr"])

感觉"训练怪怪的"时,先确认学习率真的是你以为的那个值—— 调度器写错位置会把它调到 0。

五分钟排查表

这一课的所有内容压成一张表,训练出问题时直接对症状。

症状

先查

损失完全不动

lr 太小?opt.step() 漏了?

损失变 nan

lr 大 10 倍试试小的

损失震荡

lr 减半,或加大 batch

训练后期变差

加调度器让 lr 衰减

前几轮就崩

加 warmup

下一课

学习率管"学多快"。下一课管"别学歪":正则化。