习题

五道题。第一题必须动手算——不算完别看答案。

一、手算残差块的梯度

一个有两层线性变换的网络,输入是一个数:

x = 2 w1 = 0.5 w2 = 0.5 L = y (损失就取输出本身)

两种结构:

无残差: h = w1 * x y = w2 * h 有残差: h = w1 * x + x y = w2 * h + h

要填的表

无残差

有残差

h

y

∂L∂w1\frac{\partial L}{\partial w_1}

∂L∂w2\frac{\partial L}{\partial w_2}

先自己推,推到纸上写满了再看答案。

验证

import torch x = torch.tensor(2.0) w1 = torch.tensor(0.5, requires_grad=True) w2 = torch.tensor(0.5, requires_grad=True) h = w1 * x y = w2 * h y.backward() print("无残差", h.item(), y.item(), w1.grad.item(), w2.grad.item()) w1.grad = None w2.grad = None h = w1 * x + x y = w2 * h + h y.backward() print("有残差", h.item(), y.item(), w1.grad.item(), w2.grad.item())

再推一步

把网络加长到 10 层,每层 w = 0.5,填表:

层数

∂L∂w1\frac{\partial L}{\partial w_1}(无残差)

∂L∂w1\frac{\partial L}{\partial w_1}(有残差)

1

3

10

def gradient(n_layers, residual, w_value=0.5): weights = [torch.tensor(w_value, requires_grad=True) for _ in range(n_layers)] h = x for w in weights: h = w * h + (h if residual else 0) h.backward() return weights[0].grad.item() for n in [1, 3, 10]: print(n, gradient(n, False), gradient(n, True))

二、判断形状能不能相加

#

x

F(x)

能直接加吗

捷径怎么做

1

(1,32,128,128)

(1,32,128,128)

2

(1,32,128,128)

(1,64,128,128)

3

(1,32,128,128)

(1,32,64,64)

4

(1,32,128,128)

(1,64,64,64)

5

(1,256,16,16)

(1,256,16,16)

三、算一个 ResNet 的参数

给定配置:

stem: 3 → 32 layer1: 2 个 Residual(32, 32) layer2: Residual(32, 64, 2) + Residual(64, 64) layer3: Residual(64, 128, 2) + Residual(128, 128) head: GAP + Linear(128, 10)

段

参数

stem

layer1

layer2

layer3

head

合计

四、拆掉捷径

把 Residual.forward 里的 out + self.shortcut(x) 改成 self.shortcut(x),其余不动。

问题

答案

参数量会变吗

形状会变吗

训练会出什么问题

五、辨真假

#

说法

对 / 错 + 理由

1

残差连接的主要作用是解决梯度消失

2

ResNet 的每一段都是「第一个块改形状,后面不改」

3

Bottleneck 比 BasicBlock 参数多很多

4

ResNet 能接受任意尺寸的输入

5

Transformer 的残差和 ResNet 的残差是同一个东西

参考答案

一、手算残差块的梯度

无残差

h = 0.5 × 2 = 1 y = 0.5 × 1 = 0.5 ∂L/∂w1 = ∂L/∂y · ∂y/∂h · ∂h/∂w1 = 1 · 0.5 · 2 = 1 ∂L/∂w2 = ∂L/∂y · ∂y/∂w2 = 1 · h = 1

有残差

h = 0.5 × 2 + 2 = 3 y = 0.5 × 3 + 3 = 4.5 ∂h/∂w1 = x = 2 (+x 不含 w1) ∂y/∂h = w2 + 1 = 1.5 (+h 带一个 1) ∂L/∂w1 = 1 · 1.5 · 2 = 3 ∂L/∂w2 = ∂L/∂y · h = 1 · 3 = 3

无残差

有残差

h

1

3

y

0.5

4.5

∂L∂w1\frac{\partial L}{\partial w_1}

1

3

∂L∂w2\frac{\partial L}{\partial w_2}

1

3

10 层

层数

无残差

有残差

1

2.0

2.0

3

0.5

4.5

10

3.906e-03

76.8867

公式:无残差 x · w^(n−1) = 2 × 0.5^(n−1), 有残差 x · (w+1)^(n−1) = 2 × 1.5^(n−1)。

10 层时差 2 万倍。

二、判断形状

#

能加吗

捷径

参数

1

能

空 Sequential

0

2

不能

Conv2d(32,64,1)

2,176

3

不能

Conv2d(32,32,1,stride=2)

1,088

4

不能

Conv2d(32,64,1,stride=2)

2,176

5

能

空 Sequential

0

规则:通道和尺寸都一致才能相加。 第 4 种就是 ResNet 每段第一个块的情况。

三、算 ResNet 参数

段

参数

怎么算

stem

928

3×32×9 + 64

layer1

37,120

18,560 × 2

layer2

131,712

57,728 + 73,984

layer3

525,568

230,144 + 295,424

head

1,290

128×10 + 10

合计

696,618

layer3 占了 75%——因为卷积参数量是通道数的平方。

四、拆掉捷径

问题

答案

参数量会变吗

完全不变(形状不变时捷径是空的)

形状会变吗

不变,还能跑

训练会出什么问题

变成普通深层网络,梯度连乘,深层学不动

这正是 31.1 那个实验:20 层无残差卡在 51.86%(瞎猜水平), 8 层还能到 70.43%。

五、辨真假

#

答案

理由

1

不准确

主要作用是让「恒等映射」好学。有 BatchNorm 时梯度本来就不消失

2

对

每段 Residual(入,出,2) + 若干 Residual(出,出)

3

错

参数几乎一样(73,984 vs 75,008),但输出通道宽 4 倍

4

对

用了全局平均池化,不依赖输入尺寸

5

对

外壳都是 x + F(x),只是 F 和归一化不同

下一章

到这里 CNN 的主线走完了。下一章讲一个很实际的问题: 你没有 100 万张图,怎么用这些网络?

迁移学习——拿别人训好的 ResNet,几百张图就能做出能用的模型。