习题

手算

用和课文一样的网络结构,换一组数:

W1 = [[1.0, 0.0], b1 = [0.5, [0.0, 1.0]] 0.5] W2 = [[1.0, 1.0]] b2 = [0.0] x = [2.0, 3.0] y = 6.0 损失 = MSE
  1. 算出 z1、a1、pred、loss

  2. 算出 ∂L∂pred\frac{\partial L}{\partial pred}

  3. 算出 ∂L∂W2\frac{\partial L}{\partial W_2}、∂L∂b2\frac{\partial L}{\partial b_2}

  4. 算出 ∂L∂z1\frac{\partial L}{\partial z_1}(注意 ReLU)

  5. 算出 ∂L∂W1\frac{\partial L}{\partial W_1}、∂L∂b1\frac{\partial L}{\partial b_1}

跑代码验证

用 PyTorch 搭同样结构、设同样权重,确认每个梯度都对得上。

思考题

1. 如果 b1 改成 [-1.0, -1.0]

z1 会变成负数,ReLU 输出 0。这时 ∂L∂W1\frac{\partial L}{\partial W_1} 是多少?为什么?

2. 如果损失换成 MAE

L = |pred - y|。求 ∂L∂pred\frac{\partial L}{\partial pred},和 MSE 比有什么不同?

3. 为什么反向要用转置

从前向的形状推导,说明 ∂L∂x=W⊤⋅δ\frac{\partial L}{\partial x} = W^{\top} \cdot \delta 里的转置为什么必须存在。

4. 三层网络

把网络改成三层(每层 2 个神经元,中间都用 ReLU),手推一遍反向。梯度会变大还是变小?

实现

用纯 numpy 写一个两层网络的反向传播,训练 XOR 问题:

X = [[0,0], [0,1], [1,0], [1,1]] y = [[0], [1], [1], [0]]

要求:不调用任何自动求导,只用你手写的 backward。

参考答案要点

题

要点

一.1

z1=[2.5,3.5],a1 相同,pred=6.0,loss=0

一.2

2(6.0−6.0)=0

一.3

都是 0——损失已经是 0,没有梯度

三.1

全是 0。ReLU 把负数的梯度挡住了,这一层学不到东西(死亡 ReLU)

三.2

MAE 的导数是 sign(pred−y),恒为 ±1,不随误差大小变化

三.3

δ 形状是 (h,),要变回 (d,) 才能传给前一层,只能乘 (d,h) 矩阵 = Wᵀ

三.4

层数越多连乘越多,正常初始化下梯度会变小(梯度消失)

下一章

反向传播懂了。下一章讲怎么让它训得更好: 学习率、正则化、初始化、批归一化。