一批新房源
二十套房的成交记录,面积(平方米)与成交价(万元):
面积 | 成交价 | 面积 | 成交价 |
|---|
45 | 197.5 | 104 | 379.3 |
52 | 231.0 | 110 | 373.8 |
58 | 241.2 | 117 | 389.5 |
63 | 219.1 | 124 | 458.5 |
68 | 227.5 | 132 | 458.3 |
74 | 273.0 | 140 | 497.6 |
80 | 306.5 | 148 | 483.8 |
86 | 319.4 | 156 | 526.3 |
92 | 362.0 | 163 | 533.4 |
98 | 362.1 | 171 | 568.2 |

样本数 m=20。
用到的公式
损失(均方误差,带 21):
J(w,b)=2m1i=1∑m(y^(i)−y(i))2,y^(i)=wx(i)+b 两个偏导:
∂w∂J=m1i=1∑m(y^(i)−y(i))x(i),∂b∂J=m1i=1∑m(y^(i)−y(i)) 更新:
w←w−α∂w∂J,b←b−α∂b∂J 题目
从 w=2.5、b=30 出发。
第一题 算出这条线在这 20 套房上的损失 J(2.5,30)。
第二题 算出 ∂w∂J 和 ∂b∂J 在这一点的值。它们的正负号说明什么?
第三题 取学习率 α=2×10−5,更新一步。写出新的 w、b,并算出新的损失。
第四题 损失降了多少?降幅是多少百分比?为什么一步只降这么多?
第五题 接着跑满 50 步,w 和 b 分别到了多少?再和最小二乘的解析最优解(w≈2.99、b≈59.55)对比,你看到了什么现象?
前四题手算可行(二十个点虽然多,但结构一样)。第五题直接写循环跑,不要手算。
如果你想省事,用 numpy:
import numpy as np area = np.array([45,52,58,63,68,74,80,86,92,98, 104,110,117,124,132,140,148,156,163,171], float) price = np.array([197.5,231.0,241.2,219.1,227.5,273.0,306.5,319.4,362.0,362.1, 379.3,373.8,389.5,458.5,458.3,497.6,483.8,526.3,533.4,568.2])
答案
答案
第一题
先算每个点的预测 y^=2.5x+30,再算残差、平方:
J=2×201i=1∑20(y^(i)−y(i))2=40141450.5=3536.26 中间那个 141450.5 是二十个残差平方的总和。手算时一格一格填,最后求和,和这个对上就说明你算对了。
答案
第二题
∂w∂J=−9048.60,∂b∂J=−80.275 两个都是负数。负号的含义:增大这个参数会让损失下降,所以下一步应该让它变大。
这也是"沿负梯度走"在起作用——负梯度是 +9048.60 和 +80.275,方向朝正。
答案
第三题
Δw=−α∂w∂J=−2×10−5×(−9048.60)=+0.180972 Δb=−α∂b∂J=−2×10−5×(−80.275)=+0.001605 wnew=2.5+0.181=2.6810,bnew=30+0.0016=30.0016 Jnew=2099.29 答案
第四题
3536.26−2099.29=1436.97,3536.261436.97≈40.6% 一步降了四成,但只有四成——因为这一步里:
几乎全部进步都来自斜率,截距等于没动。这是第 2 章反复出现的那个现象:∂J/∂w 比 ∂J/∂b 大了两个数量级,同一个 α 下两边速度差得远。
答案
第五题
跑满 50 步:
| w | b | J |
|---|
起点 | 2.5000 | 30.0000 | 3536.26 |
50 步后 | 3.2383 | 30.0097 | 195.41 |
解析最优 | 2.9875 | 59.5500 | 144.58 |
两个现象:
w 冲过头了。它跑到 3.24,而最优是 2.99——因为 b 被卡在 30 附近拖后腿,模型只能靠加大斜率去补偿。
b 几乎没动。50 步只从 30 爬到 30.01,而它本该到 59.55。
结论和正文一致:这不是学习率调错,是量纲问题。面积是几十到一百多,截距是个位数,两边的梯度量级差一百倍。下一章的特征缩放就是干这件事的。
想再练的话
把学习率改成 5×10−4,再跑一步,看看 J 会变成什么样(剧透:会从 3536 涨到 88029)。
用 numpy 把 5000 步跑完,画出损失曲线,看它在多少步之后基本不动了。
自己造一批数据:y=−1.5x+200+ 噪声,从 w=0,b=0 出发,能不能收敛?
下一章
下一章把特征从 1 个扩展到 n 个,同时解决第 2 章留下的那个"b 走得慢"的问题。