初始化与批归一化
这两个都是为了让每一层的输出保持合理范围,从而让梯度不消失也不爆炸。
初始化为什么重要
PyTorch 默认用 Kaiming 初始化,通常够用。但要知道错的初始化会怎样。
# ✗ 全零初始化:所有神经元完全一样,永远学不到不同的东西 nn.Linear(784, 256) for p in model.parameters(): nn.init.zeros_(p) # ✗ 全用 1:输出随层数指数放大 nn.init.constant_(p, 1.0) # ✗ 标准差太大:激活爆炸 nn.init.normal_(p, 0, 1.0)现象 | 可能原因 |
|---|---|
所有神经元输出一样 | 零初始化(对称性没打破) |
深层激活值趋近 0 | 初始化太小 |
激活值爆炸到 1e10 | 初始化太大 |
常用初始化
知道错在哪之后,看对的几个。
方法 | 适用 |
|---|---|
Kaiming / He | ReLU 前的层(默认) |
Xavier / Glorot | tanh、sigmoid 前 |
正交 | RNN |
nn.init.kaiming_normal_(layer.weight, nonlinearity="relu") nn.init.zeros_(layer.bias)绝大多数时候不用管
nn.Linear / nn.Conv2d 内部已经做了 Kaiming。
只有自己写层、或者训练不稳定时,才需要手动设。
RNN 是例外——默认初始化常常不够好,值得手动加正交初始化。
批归一化
初始化管的是“开始时的样子”。批归一化管的是“训练过程中每一层的输出”。
把每一层的输出归一化到均值 0、方差 1,再学一个缩放和偏移。
nn.BatchNorm1d(num_features) # 全连接后 nn.BatchNorm2d(num_features) # 卷积后(按通道)nn.Sequential( nn.Linear(784, 256), nn.BatchNorm1d(256), # 在激活之前 nn.ReLU(), nn.Linear(256, 10), )它解决了什么
问题 | BN 怎么帮上忙 |
|---|---|
深层网络难训练 | 保持激活值范围稳定 |
对初始化敏感 | 归一化后初始化影响变小 |
只能用很小的学习率 | 可以用大 10 倍 |
收敛慢 | 明显加速 |
训练和推理行为不同
model.train() # 用当前 batch 的均值和方差 model.eval() # 用训练期间累计的滑动平均这就是 train/eval 的第二个作用
Dropout 和 BatchNorm 都依赖 train()/eval() 切换。
评估时忘了 eval(),BN 会用当前 batch 的统计量, 结果会随 batch 组成变化,不稳定。
batch_size 太小会出问题
BN 的均值和方差是从当前 batch 算的。batch 只有 1 或 2 个样本时,统计量毫无意义。
batch_size < 8 → BN 效果差,甚至报错 batch_size < 2 → 直接报错小 batch 的替代方案:
层 | 归一化维度 | 适合 |
|---|---|---|
| 跨样本 | batch 够大 |
| 跨特征 | 任意 batch,Transformer 用这个 |
| 分组 | 小 batch 的 CNN |
nn.LayerNorm(256) # 不依赖 batch 大小 nn.GroupNorm(8, 256)经典的层排布
BN 和 ReLU 谁先谁后,一直有争论。看一下几种实际在用的排布。
来源 | 顺序 |
|---|---|
早期 | Linear → ReLU → Dropout |
BN 论文 | Linear → BatchNorm → ReLU |
ResNet | Conv → BN → ReLU(然后残差相加) |
Transformer | LayerNorm → Attention → 相加 |
BN 放激活前是主流。放后面也有人用,差别不大。
batch_size 最后一层有 1 个样本
# 报错:Expected more than 1 value per channel when training nn.BatchNorm1d(256)训练集大小不能被 batch_size 整除时,最后一批可能只有 1 个样本。
DataLoader(ds, batch_size=64, drop_last=True)drop_last 会丢数据
丢掉的只是最后不足一批的部分,通常几十个样本,可以接受。
数据集本身很小时不要用。
BN 的副作用
BN 不是万能的。它有三个明显的代价。
副作用 | 说明 |
|---|---|
依赖 batch | 推理结果和 batch 组成有关(eval 模式下缓解) |
不适合序列 | 变长序列的统计量没意义,用 LayerNorm |
小 batch 失效 | 用 GroupNorm 或 LayerNorm |
增加显存 | 要存均值和方差的中间结果 |
一张决策图
全连接网络 → Linear → BatchNorm → ReLU → Dropout CNN → Conv → BatchNorm → ReLU(残差网络里) Transformer / NLP → LayerNorm(不用 BatchNorm) RNN → 一般不用归一化,或 LayerNorm batch 很小(<8) → LayerNorm / GroupNorm下一课
习题,把这一章的四个手段在 MNIST 上各试一遍,看准确率差多少。