习题
五道题。第一题必须动手算——不算完别看答案。
一、手算残差块的梯度
一个有两层线性变换的网络,输入是一个数:
x = 2 w1 = 0.5 w2 = 0.5 L = y (损失就取输出本身)两种结构:
无残差: h = w1 * x y = w2 * h 有残差: h = w1 * x + x y = w2 * h + h要填的表
无残差 | 有残差 | |
|---|---|---|
h | ||
y | ||
先自己推,推到纸上写满了再看答案。
验证
import torch x = torch.tensor(2.0) w1 = torch.tensor(0.5, requires_grad=True) w2 = torch.tensor(0.5, requires_grad=True) h = w1 * x y = w2 * h y.backward() print("无残差", h.item(), y.item(), w1.grad.item(), w2.grad.item()) w1.grad = None w2.grad = None h = w1 * x + x y = w2 * h + h y.backward() print("有残差", h.item(), y.item(), w1.grad.item(), w2.grad.item())再推一步
把网络加长到 10 层,每层 w = 0.5,填表:
层数 | (无残差) | (有残差) |
|---|---|---|
1 | ||
3 | ||
10 |
def gradient(n_layers, residual, w_value=0.5): weights = [torch.tensor(w_value, requires_grad=True) for _ in range(n_layers)] h = x for w in weights: h = w * h + (h if residual else 0) h.backward() return weights[0].grad.item() for n in [1, 3, 10]: print(n, gradient(n, False), gradient(n, True))二、判断形状能不能相加
# | x | F(x) | 能直接加吗 | 捷径怎么做 |
|---|---|---|---|---|
1 | (1,32,128,128) | (1,32,128,128) | ||
2 | (1,32,128,128) | (1,64,128,128) | ||
3 | (1,32,128,128) | (1,32,64,64) | ||
4 | (1,32,128,128) | (1,64,64,64) | ||
5 | (1,256,16,16) | (1,256,16,16) |
三、算一个 ResNet 的参数
给定配置:
stem: 3 → 32 layer1: 2 个 Residual(32, 32) layer2: Residual(32, 64, 2) + Residual(64, 64) layer3: Residual(64, 128, 2) + Residual(128, 128) head: GAP + Linear(128, 10)段 | 参数 |
|---|---|
stem | |
layer1 | |
layer2 | |
layer3 | |
head | |
合计 |
四、拆掉捷径
把 Residual.forward 里的 out + self.shortcut(x) 改成 self.shortcut(x),其余不动。
问题 | 答案 |
|---|---|
参数量会变吗 | |
形状会变吗 | |
训练会出什么问题 |
五、辨真假
# | 说法 | 对 / 错 + 理由 |
|---|---|---|
1 | 残差连接的主要作用是解决梯度消失 | |
2 | ResNet 的每一段都是「第一个块改形状,后面不改」 | |
3 | Bottleneck 比 BasicBlock 参数多很多 | |
4 | ResNet 能接受任意尺寸的输入 | |
5 | Transformer 的残差和 ResNet 的残差是同一个东西 |
参考答案
一、手算残差块的梯度
无残差
h = 0.5 × 2 = 1 y = 0.5 × 1 = 0.5 ∂L/∂w1 = ∂L/∂y · ∂y/∂h · ∂h/∂w1 = 1 · 0.5 · 2 = 1 ∂L/∂w2 = ∂L/∂y · ∂y/∂w2 = 1 · h = 1有残差
h = 0.5 × 2 + 2 = 3 y = 0.5 × 3 + 3 = 4.5 ∂h/∂w1 = x = 2 (+x 不含 w1) ∂y/∂h = w2 + 1 = 1.5 (+h 带一个 1) ∂L/∂w1 = 1 · 1.5 · 2 = 3 ∂L/∂w2 = ∂L/∂y · h = 1 · 3 = 3无残差 | 有残差 | |
|---|---|---|
h | 1 | 3 |
y | 0.5 | 4.5 |
1 | 3 | |
1 | 3 |
10 层
层数 | 无残差 | 有残差 |
|---|---|---|
1 | 2.0 | 2.0 |
3 | 0.5 | 4.5 |
10 | 3.906e-03 | 76.8867 |
公式:无残差 x · w^(n−1) = 2 × 0.5^(n−1), 有残差 x · (w+1)^(n−1) = 2 × 1.5^(n−1)。
10 层时差 2 万倍。
二、判断形状
# | 能加吗 | 捷径 | 参数 |
|---|---|---|---|
1 | 能 | 空 Sequential | 0 |
2 | 不能 | Conv2d(32,64,1) | 2,176 |
3 | 不能 | Conv2d(32,32,1,stride=2) | 1,088 |
4 | 不能 | Conv2d(32,64,1,stride=2) | 2,176 |
5 | 能 | 空 Sequential | 0 |
规则:通道和尺寸都一致才能相加。 第 4 种就是 ResNet 每段第一个块的情况。
三、算 ResNet 参数
段 | 参数 | 怎么算 |
|---|---|---|
stem | 928 | 3×32×9 + 64 |
layer1 | 37,120 | 18,560 × 2 |
layer2 | 131,712 | 57,728 + 73,984 |
layer3 | 525,568 | 230,144 + 295,424 |
head | 1,290 | 128×10 + 10 |
合计 | 696,618 |
layer3 占了 75%——因为卷积参数量是通道数的平方。
四、拆掉捷径
问题 | 答案 |
|---|---|
参数量会变吗 | 完全不变(形状不变时捷径是空的) |
形状会变吗 | 不变,还能跑 |
训练会出什么问题 | 变成普通深层网络,梯度连乘,深层学不动 |
这正是 31.1 那个实验:20 层无残差卡在 51.86%(瞎猜水平), 8 层还能到 70.43%。
五、辨真假
# | 答案 | 理由 |
|---|---|---|
1 | 不准确 | 主要作用是让「恒等映射」好学。有 BatchNorm 时梯度本来就不消失 |
2 | 对 | 每段 |
3 | 错 | 参数几乎一样(73,984 vs 75,008),但输出通道宽 4 倍 |
4 | 对 | 用了全局平均池化,不依赖输入尺寸 |
5 | 对 | 外壳都是 |
下一章
到这里 CNN 的主线走完了。下一章讲一个很实际的问题: 你没有 100 万张图,怎么用这些网络?
迁移学习——拿别人训好的 ResNet,几百张图就能做出能用的模型。