池化
降采样有三种办法:stride > 1 的卷积、池化、还有后面的空洞卷积。
这一课讲池化——它最简单,因为没有参数。
最大池化:取一片里最大的
2×2 最大池化,把图分成 2×2 的小块,每块取最大值:
输入 4×4 输出 2×2 ┌───┬───┐ │1 3│2 4│ ┌───┬───┐ │5 6│7 8│ ──max──► │6 │8 │ ├───┼───┤ ├───┼───┤ │9 2│1 0│ │9 │5 │ │3 1│5 3│ └───┴───┘ └───┴───┘ 左上块 max(1,3,5,6)=6 右上块 max(2,4,7,8)=8 左下块 max(9,2,3,1)=9 右下块 max(1,0,5,3)=5输出是 [[6, 8], [9, 5]]。4×4 变成了 2×2。
import torch, torch.nn as nn x = torch.tensor([[[[1.,3,2,4], [5,6,7,8], [9,2,1,0], [3,1,5,3]]]]) print(nn.MaxPool2d(2)(x)) # tensor([[[[6., 8.], # [9., 5.]]]])池化的窗口不重叠
默认 kernel_size=2, stride=2——步长等于核大小,所以小块之间不重叠。
这和卷积不同:卷积默认 stride=1,窗口是重叠的。
平均池化
同样的分块,改成取平均:
print(nn.AvgPool2d(2)(x)) # tensor([[[[3.7500, 5.2500], # [3.7500, 2.2500]]]])左上块 (1+3+5+6)/4 = 3.75,右下块 (1+0+5+3)/4 = 2.25。
最大池化 | 平均池化 | |
|---|---|---|
保留什么 | 最强的那个信号 | 整体的强度 |
对噪声 | 不敏感(取最大,噪声常被丢掉) | 敏感(噪声会摊进平均) |
什么时候用 | 分类任务的主流 | 需要保留整体亮度信息时 |
池化到底在干什么
两个作用,第二个更重要:
① 降维,省计算
224×224 → 112×112,特征图元素数变成 1/4,后面所有层的计算量都降到 1/4。
② 带来一点「位置容忍」
看这个例子:输入里 6 在块的左上角,输出是 6。 如果 6 挪到块的右下角,输出还是 6。
[[1,3],[5,6]] → 6 [[5,6],[1,3]] → 6 [[1,5],[3,6]] → 6 只要 6 还在这块里,输出就不变一小步平移,不影响池化后的结果。 这让网络对“猫稍微偏了一点”不那么敏感。
但这不是真正的平移不变
常见误解:“池化让网络平移不变”。
不是。池化只是让小范围的平移不影响输出, 大概就是池化窗口那么大。
平移不变主要来自权重共享(卷积核扫全图)和全局池化。
全局平均池化
一种特殊用法:把整张特征图压成 1×1。
import torch.nn as nn gap = nn.AdaptiveAvgPool2d(1) x = torch.randn(64, 512, 7, 7) # 64 个样本,512 通道,7×7 print(gap(x).shape) # torch.Size([64, 512, 1, 1])传统写法 | 全局平均池化 | |
|---|---|---|
结构 | 7×7×512 拉平 → Linear(25088, 1000) | 全局池化 → Linear(512, 1000) |
参数量 | 2509 万 | 51 万 |
过拟合风险 | 高 | 低 |
输入尺寸 | 必须固定 224×224 | 任意尺寸 |
最后一行是关键
用了全局平均池化,网络就能接受任意大小的输入。
因为不管输入多大,池化后都是 (N, C, 1, 1),接 Linear(C, 1000) 永远对得上。
这也是为什么现代网络几乎都用它。
池化还是被替代了
2015 年之后的趋势是:用 stride=2 的卷积代替池化。
池化 | stride=2 卷积 | |
|---|---|---|
参数 | 0 | 有(要学) |
计算 | 只比大小 | 要做乘法 |
能学到东西 | 不能 | 能 |
现在的主流 | 分类网络还在用 | 更多 |
理由很简单:既然都要降采样,为什么不顺便让它学着怎么降, 而不是固定取最大?
ResNet、MobileNet 这些网络都这么干。
什么时候还用池化
① 想省参数:池化没有参数。
② 想让感受野快速变大:池化一步就能翻倍。
③ 全局平均池化:几乎所有的分类网络最后都还在用。
三种降采样对比
方式 | 写法 | 参数 | 输出尺寸 |
|---|---|---|---|
卷积 stride 2 |
| 有 | 减半 |
最大池化 |
| 0 | 减半 |
全局平均池化 |
| 0 | 1×1 |
padding=1 配 stride=2 的 3×3 卷积, 输出正好是 ⌊n/2⌋——和池化一样的减半效果。
下一课
习题。算尺寸、推感受野、手算一次池化。