深度学习›第 23 章 反向传播›习题
习题
手算
用和课文一样的网络结构,换一组数:
W1 = [[1.0, 0.0], b1 = [0.5, [0.0, 1.0]] 0.5] W2 = [[1.0, 1.0]] b2 = [0.0] x = [2.0, 3.0] y = 6.0 损失 = MSE算出
z1、a1、pred、loss算出
算出 、
算出 (注意 ReLU)
算出 、
跑代码验证
用 PyTorch 搭同样结构、设同样权重,确认每个梯度都对得上。
思考题
1. 如果 b1 改成 [-1.0, -1.0]
z1 会变成负数,ReLU 输出 0。这时 是多少?为什么?
2. 如果损失换成 MAE
L = |pred - y|。求 ,和 MSE 比有什么不同?
3. 为什么反向要用转置
从前向的形状推导,说明 里的转置为什么必须存在。
4. 三层网络
把网络改成三层(每层 2 个神经元,中间都用 ReLU),手推一遍反向。梯度会变大还是变小?
实现
用纯 numpy 写一个两层网络的反向传播,训练 XOR 问题:
X = [[0,0], [0,1], [1,0], [1,1]] y = [[0], [1], [1], [0]]要求:不调用任何自动求导,只用你手写的 backward。
参考答案要点
题 | 要点 |
|---|---|
一.1 | z1=[2.5,3.5],a1 相同,pred=6.0,loss=0 |
一.2 |
|
一.3 | 都是 0——损失已经是 0,没有梯度 |
三.1 | 全是 0。ReLU 把负数的梯度挡住了,这一层学不到东西(死亡 ReLU) |
三.2 | MAE 的导数是 |
三.3 | δ 形状是 (h,),要变回 (d,) 才能传给前一层,只能乘 (d,h) 矩阵 = Wᵀ |
三.4 | 层数越多连乘越多,正常初始化下梯度会变小(梯度消失) |
下一章
反向传播懂了。下一章讲怎么让它训得更好: 学习率、正则化、初始化、批归一化。