初始化与批归一化

这两个都是为了让每一层的输出保持合理范围,从而让梯度不消失也不爆炸。

初始化为什么重要

PyTorch 默认用 Kaiming 初始化,通常够用。但要知道错的初始化会怎样。

# ✗ 全零初始化:所有神经元完全一样,永远学不到不同的东西 nn.Linear(784, 256) for p in model.parameters(): nn.init.zeros_(p) # ✗ 全用 1:输出随层数指数放大 nn.init.constant_(p, 1.0) # ✗ 标准差太大:激活爆炸 nn.init.normal_(p, 0, 1.0)

现象

可能原因

所有神经元输出一样

零初始化(对称性没打破)

深层激活值趋近 0

初始化太小

激活值爆炸到 1e10

初始化太大

常用初始化

知道错在哪之后,看对的几个。

方法

适用

Kaiming / He

ReLU 前的层(默认)

Xavier / Glorot

tanh、sigmoid 前

正交

RNN

nn.init.kaiming_normal_(layer.weight, nonlinearity="relu") nn.init.zeros_(layer.bias)

绝大多数时候不用管

nn.Linear / nn.Conv2d 内部已经做了 Kaiming。

只有自己写层、或者训练不稳定时,才需要手动设。

RNN 是例外——默认初始化常常不够好,值得手动加正交初始化。

批归一化

初始化管的是“开始时的样子”。批归一化管的是“训练过程中每一层的输出”。

把每一层的输出归一化到均值 0、方差 1,再学一个缩放和偏移。

nn.BatchNorm1d(num_features) # 全连接后 nn.BatchNorm2d(num_features) # 卷积后(按通道)
nn.Sequential( nn.Linear(784, 256), nn.BatchNorm1d(256), # 在激活之前 nn.ReLU(), nn.Linear(256, 10), )

它解决了什么

问题

BN 怎么帮上忙

深层网络难训练

保持激活值范围稳定

对初始化敏感

归一化后初始化影响变小

只能用很小的学习率

可以用大 10 倍

收敛慢

明显加速

训练和推理行为不同

model.train() # 用当前 batch 的均值和方差 model.eval() # 用训练期间累计的滑动平均

这就是 train/eval 的第二个作用

Dropout 和 BatchNorm 都依赖 train()/eval() 切换。

评估时忘了 eval(),BN 会用当前 batch 的统计量, 结果会随 batch 组成变化,不稳定。

batch_size 太小会出问题

BN 的均值和方差是从当前 batch 算的。batch 只有 1 或 2 个样本时,统计量毫无意义。

batch_size < 8 → BN 效果差,甚至报错 batch_size < 2 → 直接报错

小 batch 的替代方案:

层

归一化维度

适合

BatchNorm

跨样本

batch 够大

LayerNorm

跨特征

任意 batch,Transformer 用这个

GroupNorm

分组

小 batch 的 CNN

nn.LayerNorm(256) # 不依赖 batch 大小 nn.GroupNorm(8, 256)

经典的层排布

BN 和 ReLU 谁先谁后,一直有争论。看一下几种实际在用的排布。

来源

顺序

早期

Linear → ReLU → Dropout

BN 论文

Linear → BatchNorm → ReLU

ResNet

Conv → BN → ReLU(然后残差相加)

Transformer

LayerNorm → Attention → 相加

BN 放激活前是主流。放后面也有人用,差别不大。

batch_size 最后一层有 1 个样本

# 报错:Expected more than 1 value per channel when training nn.BatchNorm1d(256)

训练集大小不能被 batch_size 整除时,最后一批可能只有 1 个样本。

DataLoader(ds, batch_size=64, drop_last=True)

drop_last 会丢数据

丢掉的只是最后不足一批的部分,通常几十个样本,可以接受。

数据集本身很小时不要用。

BN 的副作用

BN 不是万能的。它有三个明显的代价。

副作用

说明

依赖 batch

推理结果和 batch 组成有关(eval 模式下缓解)

不适合序列

变长序列的统计量没意义,用 LayerNorm

小 batch 失效

用 GroupNorm 或 LayerNorm

增加显存

要存均值和方差的中间结果

一张决策图

全连接网络 → Linear → BatchNorm → ReLU → Dropout CNN → Conv → BatchNorm → ReLU(残差网络里) Transformer / NLP → LayerNorm(不用 BatchNorm) RNN → 一般不用归一化,或 LayerNorm batch 很小(<8) → LayerNorm / GroupNorm

下一课

习题,把这一章的四个手段在 MNIST 上各试一遍,看准确率差多少。