习题

一批新房源

二十套房的成交记录,面积(平方米)与成交价(万元):

面积

成交价

面积

成交价

45

197.5

104

379.3

52

231.0

110

373.8

58

241.2

117

389.5

63

219.1

124

458.5

68

227.5

132

458.3

74

273.0

140

497.6

80

306.5

148

483.8

86

319.4

156

526.3

92

362.0

163

533.4

98

362.1

171

568.2

样本数 m=20m = 20。

用到的公式

损失(均方误差,带 12\frac{1}{2}):

J(w,b)=12m∑i=1m(y^(i)−y(i))2,y^(i)=wx(i)+bJ(w,b) = \frac{1}{2m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)^2, \qquad \hat{y}^{(i)} = w x^{(i)} + b

两个偏导:

∂J∂w=1m∑i=1m(y^(i)−y(i))x(i),∂J∂b=1m∑i=1m(y^(i)−y(i))\frac{\partial J}{\partial w} = \frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)x^{(i)}, \qquad \frac{\partial J}{\partial b} = \frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)

更新:

w←w−α∂J∂w,b←b−α∂J∂bw \leftarrow w - \alpha\frac{\partial J}{\partial w}, \qquad b \leftarrow b - \alpha\frac{\partial J}{\partial b}

题目

从 w=2.5w = 2.5、b=30b = 30 出发。

第一题 算出这条线在这 20 套房上的损失 J(2.5,30)J(2.5, 30)。

第二题 算出 ∂J∂w\dfrac{\partial J}{\partial w} 和 ∂J∂b\dfrac{\partial J}{\partial b} 在这一点的值。它们的正负号说明什么?

第三题 取学习率 α=2×10−5\alpha = 2\times10^{-5},更新一步。写出新的 ww、bb,并算出新的损失。

第四题 损失降了多少?降幅是多少百分比?为什么一步只降这么多?

第五题 接着跑满 50 步,ww 和 bb 分别到了多少?再和最小二乘的解析最优解(w≈2.99w \approx 2.99、b≈59.55b \approx 59.55)对比,你看到了什么现象?

前四题手算可行(二十个点虽然多,但结构一样)。第五题直接写循环跑,不要手算。

如果你想省事,用 numpy:

import numpy as np area = np.array([45,52,58,63,68,74,80,86,92,98, 104,110,117,124,132,140,148,156,163,171], float) price = np.array([197.5,231.0,241.2,219.1,227.5,273.0,306.5,319.4,362.0,362.1, 379.3,373.8,389.5,458.5,458.3,497.6,483.8,526.3,533.4,568.2])

答案

答案

第一题

先算每个点的预测 y^=2.5x+30\hat{y} = 2.5x + 30,再算残差、平方:

J=12×20∑i=120(y^(i)−y(i))2=141450.540=3536.26J = \frac{1}{2 \times 20}\sum_{i=1}^{20}\left(\hat{y}^{(i)}-y^{(i)}\right)^2 = \frac{141450.5}{40} = \mathbf{3536.26}

中间那个 141450.5141450.5 是二十个残差平方的总和。手算时一格一格填,最后求和,和这个对上就说明你算对了。

答案

第二题

∂J∂w=−9048.60,∂J∂b=−80.275\frac{\partial J}{\partial w} = \mathbf{-9048.60}, \qquad \frac{\partial J}{\partial b} = \mathbf{-80.275}

两个都是负数。负号的含义:增大这个参数会让损失下降,所以下一步应该让它变大。

这也是"沿负梯度走"在起作用——负梯度是 +9048.60+9048.60 和 +80.275+80.275,方向朝正。

答案

第三题

Δw=−α∂J∂w=−2×10−5×(−9048.60)=+0.180972\Delta w = -\alpha\frac{\partial J}{\partial w} = -2\times10^{-5}\times(-9048.60) = +0.180972
Δb=−α∂J∂b=−2×10−5×(−80.275)=+0.001605\Delta b = -\alpha\frac{\partial J}{\partial b} = -2\times10^{-5}\times(-80.275) = +0.001605
wnew=2.5+0.181=2.6810,bnew=30+0.0016=30.0016w_{\text{new}} = 2.5 + 0.181 = \mathbf{2.6810}, \qquad b_{\text{new}} = 30 + 0.0016 = \mathbf{30.0016}
Jnew=2099.29J_{\text{new}} = \mathbf{2099.29}

答案

第四题

3536.26−2099.29=1436.97,1436.973536.26≈40.6%3536.26 - 2099.29 = 1436.97, \qquad \frac{1436.97}{3536.26} \approx 40.6\%

一步降了四成,但只有四成——因为这一步里:

  • ww 动了 0.18(从 2.5 到 2.68)

  • bb 只动了 0.0016

几乎全部进步都来自斜率,截距等于没动。这是第 2 章反复出现的那个现象:∂J/∂w\partial J/\partial w 比 ∂J/∂b\partial J/\partial b 大了两个数量级,同一个 α\alpha 下两边速度差得远。

答案

第五题

跑满 50 步:

ww

bb

JJ

起点

2.5000

30.0000

3536.26

50 步后

3.2383

30.0097

195.41

解析最优

2.9875

59.5500

144.58

两个现象:

  1. ww 冲过头了。它跑到 3.24,而最优是 2.99——因为 bb 被卡在 30 附近拖后腿,模型只能靠加大斜率去补偿。

  2. bb 几乎没动。50 步只从 30 爬到 30.01,而它本该到 59.55。

结论和正文一致:这不是学习率调错,是量纲问题。面积是几十到一百多,截距是个位数,两边的梯度量级差一百倍。下一章的特征缩放就是干这件事的。

想再练的话

  1. 把学习率改成 5×10−45\times10^{-4},再跑一步,看看 JJ 会变成什么样(剧透:会从 3536 涨到 88029)。

  2. 用 numpy 把 5000 步跑完,画出损失曲线,看它在多少步之后基本不动了。

  3. 自己造一批数据:y=−1.5x+200+y = -1.5x + 200 + 噪声,从 w=0,b=0w=0, b=0 出发,能不能收敛?

下一章

下一章把特征从 1 个扩展到 nn 个,同时解决第 2 章留下的那个"bb 走得慢"的问题。