学习率:最重要的超参
如果只能调一个超参,调学习率。
它控制什么
w ← w - lr × grad ↑ 这一步迈多大学习率 | 现象 |
|---|---|
太小 | 损失降得极慢,几百轮还停在初始值附近 |
合适 | 损失平稳下降 |
太大 | 损失震荡、突然跳大、甚至 nan |
大得离谱 | 第一次更新就 nan |
先动手试一下
下面这张图把梯度下降画出来了。损失曲面一个方向陡、一个方向平, 拖动学习率看轨迹怎么变:
四种典型情况都在里面:太小走不动、合适平稳收敛、 偏大在谷底横跳、太大直接发散。
注意一个现象:同一个学习率,陡的方向已经炸了,平的方向还在慢慢挪。 这就是后面动量要解决的问题。
数量级经验
优化器 | 起点 | 搜索范围 |
|---|---|---|
SGD |
|
|
SGD + momentum |
|
|
Adam / AdamW |
|
|
微调预训练模型 |
|
|
按 10 倍搜,不要按线性搜
试 1e-5, 1e-4, 1e-3, 1e-2, 1e-1,不要试 0.001, 0.002, 0.003。
学习率的影响是数量级的,差一个数量级就是"能训"和"不能训"的区别。
找学习率:从小到大试
经验值只是起点。真实项目要自己试出来。
for lr in [1e-5, 3e-5, 1e-4, 3e-4, 1e-3, 3e-3, 1e-2]: model = build_model() # 每次重新初始化 opt = torch.optim.AdamW(model.parameters(), lr=lr) losses = train_a_few_steps(model, opt, loader, steps=100) print(f"lr={lr:g} loss={losses[-1]:.4f}")挑损失降得最快、又没发散的那个。
自动找:LR finder
# 从 1e-7 开始,每步乘 1.1,记录损失 # 损失开始明显上升的前一个值,大约就是上限 # 实际用的时候取它的 1/10调度:训练中改变学习率
上面说的都是“一个固定的学习率”。但固定值往往不是最优的。
固定学习率不是最优的。常见做法是先大后小—— 开始大步找方向,后来小步精调。
策略 | 形状 | 用法 |
|---|---|---|
| 阶梯下降 | 每 N 轮乘 0.1 |
| 余弦曲线 | 现在最常用 |
| 先升后降 | 快速训练 |
| 不降就降 | 看验证指标自动调 |
sched = torch.optim.lr_scheduler.CosineAnnealingLR(opt, T_max=epochs) for epoch in range(epochs): train_one_epoch() sched.step() # 在 optimizer.step() 之后ReduceLROnPlateau 要传指标
sched = torch.optim.lr_scheduler.ReduceLROnPlateau( opt, mode="min", factor=0.1, patience=3 ) sched.step(val_loss) # 传指标,不是不传热身(warmup)
训练最开始几步梯度可能很大,用大学习率容易直接崩。 先用很小的学习率跑几百步,再升到正常值。
# 前 5% 的步数里,lr 从 0 线性升到目标值Transformer 训练几乎必用。小模型可以不用。
batch_size 和学习率的关系
批大了,梯度更准(噪声小),可以迈更大步。
# 线性缩放规则(粗略) lr_new = lr_old × (batch_new / batch_old)这条规则只是起点
batch 从 32 加到 256(8 倍),lr 可以试着乘 8。
但批太大时线性规则会失效,需要配合 warmup。
诊断:打印学习率
print(opt.param_groups[0]["lr"])感觉"训练怪怪的"时,先确认学习率真的是你以为的那个值—— 调度器写错位置会把它调到 0。
五分钟排查表
这一课的所有内容压成一张表,训练出问题时直接对症状。
症状 | 先查 |
|---|---|
损失完全不动 | lr 太小? |
损失变 nan | lr 大 10 倍试试小的 |
损失震荡 | lr 减半,或加大 batch |
训练后期变差 | 加调度器让 lr 衰减 |
前几轮就崩 | 加 warmup |
下一课
学习率管"学多快"。下一课管"别学歪":正则化。