卷积核、步长、填充
这一章要讲什么
上一章知道了卷积在做什么:一个核在图上扫,每扫一次把一片区域压成一个数。
但上一章的例子是一次挪一格、不补边。真实网络里这两个都是可调的。
课 | 讲什么 |
|---|---|
这一课 | 三个旋钮:核多大、挪多远、边上怎么补 |
27.2 | 输出尺寸公式、感受野 |
27.3 | 池化:另一种缩小方式 |
27.4 | 习题 |
三个旋钮
旋钮 | 参数名 | 控制什么 |
|---|---|---|
核多大 |
| 每次看多大一片 |
挪多远 |
| 扫完一次跳几格 |
边上怎么补 |
| 在图外面补几圈 |
先动手感受一下。改这三个值,看输出尺寸怎么变:
几个值得试的组合:
核 | padding | stride | 输出 | 说明 |
|---|---|---|---|---|
3 | 0 | 1 | 5×5 | 默认,每卷一次小两格 |
3 | 1 | 1 | 7×7 | 尺寸不变——CNN 里最常用 |
3 | 0 | 2 | 3×3 | 边长减半,降采样 |
5 | 2 | 1 | 7×7 | 大核也能保持尺寸 |
步长:挪多远
步长 1 是每挪一格。步长 2 是每挪两格:
stride=1:核依次盖住列 0,1,2,3,4 → 5 个位置 stride=2:核依次盖住列 0,2,4 → 3 个位置 stride=3:核依次盖住列 0,3 → 2 个位置(4 越界了)步长的作用:降采样
stride=2 会让输出边长大约减半。
这有两个效果:计算量降为 1/4,后层的感受野翻倍。
现代网络(ResNet 之后)经常用 stride=2 的卷积代替池化做降采样。
填充:边上怎么补
不补边的话,最外一圈永远当不了核的中心,会被“吃掉”:
import torch, torch.nn as nn x = torch.randn(1, 1, 7, 7) print(nn.Conv2d(1, 1, 3, padding=0)(x).shape) # (1,1,5,5) 小了两圈 print(nn.Conv2d(1, 1, 3, padding=1)(x).shape) # (1,1,7,7) 不变 print(nn.Conv2d(1, 1, 5, padding=2)(x).shape) # (1,1,7,7) 大核补两圈也不变补什么值
模式 | 补什么 | 什么时候用 |
|---|---|---|
| 补 0 | 绝大多数情况 |
| 镜像翻转 | 图像,边缘更自然 |
| 复制边缘像素 | 同上 |
| 循环(从另一边接) | 周期信号 |
nn.Conv2d(1, 1, 3, padding=1, padding_mode="reflect") nn.Conv2d(1, 1, 3, padding=1, padding_mode="replicate")为什么默认补 0
补 0 相当于告诉网络“图外面是黑的,什么都没有”。
对大多数任务这够用。而且补 0 计算最简单。
但边缘处的输出会因为“一半是真的、一半是 0”而偏小——这叫边界效应,深层网络影响不大。
为什么 padding=1 配 kernel=3 这么常见
因为它是唯一让输出尺寸等于输入尺寸的最小组合。
核 3,padding 1:(7 + 2 − 3)/1 + 1 = 7 ✓ 不变 核 5,padding 2:(7 + 4 − 5)/1 + 1 = 7 ✓ 不变 核 7,padding 3:(7 + 6 − 7)/1 + 1 = 7 ✓ 不变 规律:padding = (kernel − 1) / 2保持尺寸不变的好处是:搭网络时不用每层都算尺寸,想堆多少层就堆多少层。
这就是为什么 3×3 统治了 CNN
kernel=3, padding=1 保持尺寸;堆 n 层之后, 感受野是 2n+1。
三层 3×3 的感受野是 7,参数是 3×3×3×C² = 27C²; 一个 7×7 的核感受野也是 7,参数是 49C²。
同样的感受野,参数少了 45%。这就是 VGG 那一课要讲的"小卷积堆叠"。
下一课
三个旋钮都会调了。下一课把输出尺寸写成一个公式, 以及一个更重要的概念:感受野。