习题

用到的公式

模型、损失、梯度、更新,四件套:

fi=g(w⊤xi+b)=11+e−(w⊤xi+b)f_i = g(w^{\top}x_i + b) = \frac{1}{1+e^{-(w^{\top}x_i+b)}}
J(w,b)=−1m∑i=1m[ yilog⁡fi+(1−yi)log⁡(1−fi) ]J(w,b) = -\frac{1}{m}\sum_{i=1}^{m}\left[\,y_i\log f_i + (1-y_i)\log(1-f_i)\,\right]
∂J∂wj=1m∑i=1m(fi−yi)xij,∂J∂b=1m∑i=1m(fi−yi)\frac{\partial J}{\partial w_j} = \frac{1}{m}\sum_{i=1}^{m}\bigl(f_i-y_i\bigr)x_{ij}, \qquad \frac{\partial J}{\partial b} = \frac{1}{m}\sum_{i=1}^{m}\bigl(f_i-y_i\bigr)
wj←wj−α∂J∂wj,b←b−α∂J∂bw_j \leftarrow w_j - \alpha\frac{\partial J}{\partial w_j}, \qquad b \leftarrow b - \alpha\frac{\partial J}{\partial b}

第一组 · 手算

还是那 13 个肿瘤样本,单特征:

样本

1

2

3

4

5

6

7

8

9

10

11

12

13

大小 xx

1.0

1.5

2.0

2.2

2.8

3.0

3.5

4.0

4.5

5.0

5.5

6.5

7.0

yy

0

0

0

0

0

0

0

1

1

1

1

1

1

第一题 从 w=0w = 0、b=0b = 0 出发,损失 J(0,0)J(0,0) 是多少?先别急着算,用脑子想一下:这时候模型对每个样本的预测都是 0.5,那么损失应该等于多少?

(提示:数一下有几个 y=1y=1、几个 y=0y=0。)

第二题 算出这一点的 ∂J∂w\dfrac{\partial J}{\partial w} 和 ∂J∂b\dfrac{\partial J}{\partial b}。为什么两者的绝对值差了十几倍?

第三题 取 α=0.5\alpha = 0.5,更新一步。写出新的 ww、bb,并算出新的损失。

第四题 接着跑,第 10 步的损失是多少?和第 1 步相比,下降得快还是慢?


第二组 · numpy

换一批数据:20 位病人,两个特征——肿瘤大小和年龄。

大小

年龄

标签

大小

年龄

标签

7.3

65.9

1

5.1

64.2

1

1.5

50.7

0

7.9

57.2

1

5.7

55.4

1

5.9

42.9

1

4.3

53.8

1

2.5

31.6

0

5.7

56.4

0

4.0

47.9

0

1.3

69.8

0

1.7

55.1

0

1.4

53.1

0

3.0

59.4

0

2.2

35.7

0

3.1

56.8

0

7.9

57.7

1

1.1

53.9

0

3.1

57.6

0

6.9

54.2

1

import numpy as np X = np.array([[7.3,65.9],[1.5,50.7],[5.7,55.4],[4.3,53.8],[5.7,56.4], [1.3,69.8],[1.4,53.1],[2.2,35.7],[7.9,57.7],[3.1,57.6], [5.1,64.2],[7.9,57.2],[5.9,42.9],[2.5,31.6],[4.0,47.9], [1.7,55.1],[3.0,59.4],[3.1,56.8],[1.1,53.9],[6.9,54.2]]) y = np.array([1,0,1,1,0,0,0,0,1,0,1,1,1,0,0,0,0,0,0,1], float)

第五题 从全零出发,算出起点损失和两个梯度。注意看两个 ww 的梯度——它们的量级一样吗?为什么?

第六题 这里是关键。

用 α=0.05\alpha = 0.05,不做任何缩放跑 200 步。记录第 1、5、20、100、200 步的损失。

然后把两个特征都标准化(减均值、除标准差),用同一个 α=0.05\alpha = 0.05,再跑一次,记录同样的位置。

把两次的损失放在一起对比,你看到了什么?

第七题 用标准化后的结果,算出训练集准确率(预测概率大于 0.5 判 1)。


第三组 · 拓展

第八题 写出这个两特征模型的决策边界方程。它在 (x1,x2)(x_1, x_2) 平面上是什么形状?

第九题 如果你坚持不标准化,α\alpha 最大能取到多少还能收敛?和 0.05 差几倍?为什么差这么多?

第一组手算完全可行——十三个样本,每个样本只有一次乘法和一次对数。

第二组必须写代码。不要手算,二十个点加上迭代,手算没有意义。


答案

第一题

预测全是 0.5,所以每个样本的损失是 −log⁡0.5=log⁡2-\log 0.5 = \log 2,不管它是 0 还是 1。

J(0,0)=log⁡2=0.6931J(0,0) = \log 2 = \mathbf{0.6931}

这就是"完全瞎猜"的成本。二分类问题里,任何什么都不学的模型,损失都停在这个数附近。

第二题

fi=0.5f_i = 0.5 对所有 ii 成立,残差 fi−yif_i - y_i 只有两种取值:

  • 前 7 个(y=0y=0):+0.5+0.5

  • 后 6 个(y=1y=1):−0.5-0.5

∂J∂b=113[7×0.5+6×(−0.5)]=0.513=0.038462\frac{\partial J}{\partial b} = \frac{1}{13}\left[7\times 0.5 + 6\times(-0.5)\right] = \frac{0.5}{13} = \mathbf{0.038462}
∂J∂w=113[∑y=00.5xi−∑y=10.5xi]=−0.634615\frac{\partial J}{\partial w} = \frac{1}{13}\left[\sum_{y=0}0.5x_i - \sum_{y=1}0.5x_i\right] = \mathbf{-0.634615}

差了 16.5 倍。原因:ww 的梯度里多乘了一个 xx,而 xx 的均值是 3.73。

注意两个梯度的方向是反的:∂J/∂w\partial J/\partial w 是负的(ww 该增大),∂J/∂b\partial J/\partial b 是正的(bb 该减小)。

第三题

w=0−0.5×(−0.634615)=0.3173w = 0 - 0.5\times(-0.634615) = \mathbf{0.3173}
b=0−0.5×0.038462=−0.0192b = 0 - 0.5\times 0.038462 = \mathbf{-0.0192}

新损失:

J=0.680968J = \mathbf{0.680968}

只降了 0.012。因为梯度本身不大,而 α\alpha 只有 0.5。

第四题

第 10 步:w=0.2934w = 0.2934,b=−0.7537b = -0.7537,J=0.526005J = \mathbf{0.526005}。

对比:

步数

JJ

这一段降了多少

0

0.69315

—

1

0.68097

0.012

10

0.52600

0.155

前十步降得比第一步快得多——因为第一步之后 bb 开始动起来,预测不再全是 0.5,梯度本身也在变大。

如果继续跑到第 2000 步,JJ 会到 0.0617。

第五题

起点预测全是 0.5,所以残差还是 ±0.5\pm 0.5:

∂J∂b=120[8×0.5+12×(−0.5)]=0.1000\frac{\partial J}{\partial b} = \frac{1}{20}\left[8\times 0.5 + 12\times(-0.5)\right] = \mathbf{0.1000}
∂J∂w1=−0.5100,∂J∂w2=4.4175\frac{\partial J}{\partial w_1} = \mathbf{-0.5100}, \qquad \frac{\partial J}{\partial w_2} = \mathbf{4.4175}

两个 ww 的梯度差了近 9 倍,符号还相反。

原因很直接:w2w_2 对应的是年龄,数值在 30 到 70 之间;w1w_1 对应的是肿瘤大小,只有 1 到 8。梯度里乘的特征越大,结果就越大。

这意味着同一个 α\alpha 对 w2w_2 太激进、对 w1w_1 太保守。

第六题

步数

不缩放

标准化后

0

0.69315

0.69315

1

4.92110

0.68388

5

11.05241

0.64926

20

0.50877

0.54827

100

11.05241

0.34162

200

11.05241

0.27558

不缩放那一列是发散的:第一步损失就冲到 4.92(比起点高七倍),第 5 步到 11.05,之后就在 11.05 和 0.51 之间来回震荡,再也没下来过。

第 20 步那个 0.5088 是个陷阱——它只是震荡路过的一个低点,不是收敛。

标准化之后一切正常:单调下降,200 步到 0.2756。

同一个算法、同一个学习率,只因为做了缩放,一个彻底失败、一个顺利收敛。

第七题

标准化后训练出来的参数:

w=[1.758, 0.270],b=−0.446w = [1.758,\ 0.270], \qquad b = -0.446

用它们预测 20 个样本,准确率 = 18 / 20 = 90%。

错的两例是图中重叠区域的那两个点——一个是蓝色圆点混在橙方块里,一个是反过来。

第八题

决策边界是 z=0z = 0 的解集:

w1x1+w2x2+b=0w_1x_1 + w_2x_2 + b = 0

这是 (x1,x2)(x_1, x_2) 平面上的一条直线。

因为 gg 单调递增且 g(0)=0.5g(0)=0.5,所以"预测大于 0.5"等价于"z>0z>0"——边界完全由 zz 的正负决定,gg 不参与。

要让边界变成曲线,得像第 3 章那样加多项式特征(x12x_1^2、x1x2x_1x_2 等)。

第九题

用 2000 步试几个 α\alpha:

α\alpha

最终 JJ

0.05

1.381(失败)

0.02

0.630

0.01

0.312

0.005

0.275(和不缩放的最好结果持平)

0.002

0.296

能用的上限大约在 0.005,比 0.05 小了十倍。

原因:稳定性要求 α<2λmax⁡\alpha < \dfrac{2}{\lambda_{\max}},而 λmax⁡\lambda_{\max} 大致按特征尺度的平方增长。年龄的尺度是大小的大约 9 倍,平方之后就是 80 倍——所以 α\alpha 必须缩得比 9 倍还狠。

这正是第 3 章那个条件数问题的翻版。

一句话总结

现象

原因

起点损失恒等于 log⁡2\log 2

预测全 0.5,每个样本都罚 log⁡2\log 2

两个 ww 的梯度量级不同

梯度里乘了特征本身,特征尺度不同

不缩放会发散

α\alpha 被最大的那个特征尺度卡住

gg 不影响决策边界

边界是 z=0z=0,与 gg 无关

下一章

下一章解决一个更根本的问题:你凭什么相信自己训练出来的模型是好的?