卷积核、步长、填充

这一章要讲什么

上一章知道了卷积在做什么:一个核在图上扫,每扫一次把一片区域压成一个数。

但上一章的例子是一次挪一格、不补边。真实网络里这两个都是可调的。

课

讲什么

这一课

三个旋钮:核多大、挪多远、边上怎么补

27.2

输出尺寸公式、感受野

27.3

池化:另一种缩小方式

27.4

习题

三个旋钮

旋钮

参数名

控制什么

核多大

kernel_size

每次看多大一片

挪多远

stride

扫完一次跳几格

边上怎么补

padding

在图外面补几圈

先动手感受一下。改这三个值,看输出尺寸怎么变:

几个值得试的组合:

核

padding

stride

输出

说明

3

0

1

5×5

默认,每卷一次小两格

3

1

1

7×7

尺寸不变——CNN 里最常用

3

0

2

3×3

边长减半,降采样

5

2

1

7×7

大核也能保持尺寸

步长:挪多远

步长 1 是每挪一格。步长 2 是每挪两格:

stride=1:核依次盖住列 0,1,2,3,4 → 5 个位置 stride=2:核依次盖住列 0,2,4 → 3 个位置 stride=3:核依次盖住列 0,3 → 2 个位置(4 越界了)

步长的作用:降采样

stride=2 会让输出边长大约减半。

这有两个效果:计算量降为 1/4,后层的感受野翻倍。

现代网络(ResNet 之后)经常用 stride=2 的卷积代替池化做降采样。

填充:边上怎么补

不补边的话,最外一圈永远当不了核的中心,会被“吃掉”:

import torch, torch.nn as nn x = torch.randn(1, 1, 7, 7) print(nn.Conv2d(1, 1, 3, padding=0)(x).shape) # (1,1,5,5) 小了两圈 print(nn.Conv2d(1, 1, 3, padding=1)(x).shape) # (1,1,7,7) 不变 print(nn.Conv2d(1, 1, 5, padding=2)(x).shape) # (1,1,7,7) 大核补两圈也不变

补什么值

模式

补什么

什么时候用

"zeros"(默认)

补 0

绝大多数情况

"reflect"

镜像翻转

图像,边缘更自然

"replicate"

复制边缘像素

同上

"circular"

循环(从另一边接)

周期信号

nn.Conv2d(1, 1, 3, padding=1, padding_mode="reflect") nn.Conv2d(1, 1, 3, padding=1, padding_mode="replicate")

为什么默认补 0

补 0 相当于告诉网络“图外面是黑的,什么都没有”。

对大多数任务这够用。而且补 0 计算最简单。

但边缘处的输出会因为“一半是真的、一半是 0”而偏小——这叫边界效应,深层网络影响不大。

为什么 padding=1 配 kernel=3 这么常见

因为它是唯一让输出尺寸等于输入尺寸的最小组合。

核 3,padding 1:(7 + 2 − 3)/1 + 1 = 7 ✓ 不变 核 5,padding 2:(7 + 4 − 5)/1 + 1 = 7 ✓ 不变 核 7,padding 3:(7 + 6 − 7)/1 + 1 = 7 ✓ 不变 规律:padding = (kernel − 1) / 2

保持尺寸不变的好处是:搭网络时不用每层都算尺寸,想堆多少层就堆多少层。

这就是为什么 3×3 统治了 CNN

kernel=3, padding=1 保持尺寸;堆 n 层之后, 感受野是 2n+1。

三层 3×3 的感受野是 7,参数是 3×3×3×C² = 27C²; 一个 7×7 的核感受野也是 7,参数是 49C²。

同样的感受野,参数少了 45%。这就是 VGG 那一课要讲的"小卷积堆叠"。

下一课

三个旋钮都会调了。下一课把输出尺寸写成一个公式, 以及一个更重要的概念:感受野。