池化

降采样有三种办法:stride > 1 的卷积、池化、还有后面的空洞卷积。

这一课讲池化——它最简单,因为没有参数。

最大池化:取一片里最大的

2×2 最大池化,把图分成 2×2 的小块,每块取最大值:

输入 4×4 输出 2×2 ┌───┬───┐ │1 3│2 4│ ┌───┬───┐ │5 6│7 8│ ──max──► │6 │8 │ ├───┼───┤ ├───┼───┤ │9 2│1 0│ │9 │5 │ │3 1│5 3│ └───┴───┘ └───┴───┘ 左上块 max(1,3,5,6)=6 右上块 max(2,4,7,8)=8 左下块 max(9,2,3,1)=9 右下块 max(1,0,5,3)=5

输出是 [[6, 8], [9, 5]]。4×4 变成了 2×2。

import torch, torch.nn as nn x = torch.tensor([[[[1.,3,2,4], [5,6,7,8], [9,2,1,0], [3,1,5,3]]]]) print(nn.MaxPool2d(2)(x)) # tensor([[[[6., 8.], # [9., 5.]]]])

池化的窗口不重叠

默认 kernel_size=2, stride=2——步长等于核大小,所以小块之间不重叠。

这和卷积不同:卷积默认 stride=1,窗口是重叠的。

平均池化

同样的分块,改成取平均:

print(nn.AvgPool2d(2)(x)) # tensor([[[[3.7500, 5.2500], # [3.7500, 2.2500]]]])

左上块 (1+3+5+6)/4 = 3.75,右下块 (1+0+5+3)/4 = 2.25。

最大池化

平均池化

保留什么

最强的那个信号

整体的强度

对噪声

不敏感(取最大,噪声常被丢掉)

敏感(噪声会摊进平均)

什么时候用

分类任务的主流

需要保留整体亮度信息时

池化到底在干什么

两个作用,第二个更重要:

① 降维,省计算

224×224 → 112×112,特征图元素数变成 1/4,后面所有层的计算量都降到 1/4。

② 带来一点「位置容忍」

看这个例子:输入里 6 在块的左上角,输出是 6。 如果 6 挪到块的右下角,输出还是 6。

[[1,3],[5,6]] → 6 [[5,6],[1,3]] → 6 [[1,5],[3,6]] → 6 只要 6 还在这块里,输出就不变

一小步平移,不影响池化后的结果。 这让网络对“猫稍微偏了一点”不那么敏感。

但这不是真正的平移不变

常见误解:“池化让网络平移不变”。

不是。池化只是让小范围的平移不影响输出, 大概就是池化窗口那么大。

平移不变主要来自权重共享(卷积核扫全图)和全局池化。

全局平均池化

一种特殊用法:把整张特征图压成 1×1。

import torch.nn as nn gap = nn.AdaptiveAvgPool2d(1) x = torch.randn(64, 512, 7, 7) # 64 个样本,512 通道,7×7 print(gap(x).shape) # torch.Size([64, 512, 1, 1])

传统写法

全局平均池化

结构

7×7×512 拉平 → Linear(25088, 1000)

全局池化 → Linear(512, 1000)

参数量

2509 万

51 万

过拟合风险

高

低

输入尺寸

必须固定 224×224

任意尺寸

最后一行是关键

用了全局平均池化,网络就能接受任意大小的输入。

因为不管输入多大,池化后都是 (N, C, 1, 1),接 Linear(C, 1000) 永远对得上。

这也是为什么现代网络几乎都用它。

池化还是被替代了

2015 年之后的趋势是:用 stride=2 的卷积代替池化。

池化

stride=2 卷积

参数

0

有(要学)

计算

只比大小

要做乘法

能学到东西

不能

能

现在的主流

分类网络还在用

更多

理由很简单:既然都要降采样,为什么不顺便让它学着怎么降, 而不是固定取最大?

ResNet、MobileNet 这些网络都这么干。

什么时候还用池化

① 想省参数:池化没有参数。

② 想让感受野快速变大:池化一步就能翻倍。

③ 全局平均池化:几乎所有的分类网络最后都还在用。

三种降采样对比

方式

写法

参数

输出尺寸

卷积 stride 2

Conv2d(c, c2, 3, stride=2, padding=1)

有

减半

最大池化

MaxPool2d(2)

0

减半

全局平均池化

AdaptiveAvgPool2d(1)

0

1×1

padding=1 配 stride=2 的 3×3 卷积, 输出正好是 ⌊n/2⌋——和池化一样的减半效果。

下一课

习题。算尺寸、推感受野、手算一次池化。