总结:完整走一遍

回到那批房子

十二套房的成交记录,横轴面积、纵轴房价:

目标从头到尾没变过:造一个函数 ff,输入面积,输出房价。

这一章其实只做了四件事

步骤

做什么

结果

定模型

假设关系是直线

f(x)=wx+bf(x) = wx + b

定标准

用一个数衡量"这条线多差"

J(w,b)=12m∑(y^−y)2J(w,b) = \dfrac{1}{2m}\sum(\hat{y}-y)^2

找方向

算出每个参数该往哪调

∂J∂w=1m∑(y^−y)x\dfrac{\partial J}{\partial w} = \dfrac{1}{m}\sum(\hat{y}-y)x,∂J∂b=1m∑(y^−y)\dfrac{\partial J}{\partial b} = \dfrac{1}{m}\sum(\hat{y}-y)

迈步子

沿反方向走一小步

w←w−α∂J∂ww \leftarrow w - \alpha\dfrac{\partial J}{\partial w},b←b−α∂J∂bb \leftarrow b - \alpha\dfrac{\partial J}{\partial b}

后面三步循环执行,直到 JJ 不再下降。

一步一步看直线归位

从 w=1.0w = 1.0、b=0b = 0(也就是 f(x)=xf(x) = x)出发,α=4.5×10−5\alpha = 4.5\times10^{-5}:

步

ww

bb

JJ

这条线在做什么

0

1.000

0.00

37007.9

太平,远低于所有点

1

2.240

0.01

10724.1

一口气抬起一大截

2

2.907

0.02

3128.9

继续靠近

3

3.265

0.02

934.1

已经像样了

5

3.562

0.02

116.6

只剩细调

20

3.682

0.03

42.1

看起来已经很贴

前两步干掉了 97% 的损失。 剩下十几步全是在磨最后那一点。

对应的损失曲线:

第 0 步的 w=1.0w=1.0 离最优很远,所以第一次更新的步子最大(ww 一下跳到 2.24)。

这正是梯度下降的设计:离得越远走得越猛,越靠近越谨慎。 你不需要告诉它"还有多远"。

完整代码

import numpy as np area = np.array([55, 62, 70, 78, 85, 92, 100, 108, 115, 125, 135, 145], float) price = np.array([212.5, 241.2, 261.2, 280.5, 311.1, 328.1, 370.8, 416.8, 415.6, 448.8, 499.4, 532.5]) m = len(area) w, b = 1.0, 0.0 # 初始参数 alpha = 4.5e-5 # 学习率 for step in range(21): y_hat = w * area + b # 前向:算预测 err = y_hat - price # 残差 loss = np.mean(err ** 2) / 2 dw = np.mean(err * area) # 对 w 的偏导 db = np.mean(err) # 对 b 的偏导 print(f"{step:3d} w={w:.4f} b={b:.4f} J={loss:.2f}") w = w - alpha * dw # 同时更新 b = b - alpha * db

二十几行,没有库调用,没有黑盒。这就是全部。

这是哪种梯度下降

你算梯度的时候,用的是全部 12 个样本:

∂J∂w=1m∑i=1m(y^(i)−y(i))x(i)\frac{\partial J}{\partial w} = \frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)x^{(i)}

那个 1m∑\frac{1}{m}\sum 就是"把所有样本的梯度加起来,再除以样本数"。每次更新只用了一个数——全体样本的平均梯度。

这叫批量梯度下降(batch gradient descent)。

名称

每步用几个样本

梯度怎么算

特点

批量 batch

全部 mm 个

1m∑\frac{1}{m}\sum

方向最准,但数据大时每步极慢

随机 SGD

1 个

单个样本的梯度

快但抖,方向只代表一个样本

小批量 mini-batch

kk 个(如 32、256)

1k∑\frac{1}{k}\sum

折中,实际训练默认用法

公式长得一模一样,唯一区别是求和范围:

∂J∂w=1k∑j∈本批(y^(j)−y(j))x(j)\frac{\partial J}{\partial w} = \frac{1}{k}\sum_{j \in \text{本批}} \left(\hat{y}^{(j)} - y^{(j)}\right)x^{(j)}

本书前面用的全是批量版本——数据只有 12 个点,一次算完没关系。等到了深度学习,一条样本是几万维的张量,才必须分批。

但最后没到底

看那张损失曲线:第 20 步停在 42.1,而绿点标的真实最低是 37.27,在它下面。

差在哪?看参数:

第 20 步的值

真实最优

ww

3.682

3.575

bb

0.026

11.344

ww 已经到位了,bb 还差得远——从 0 爬到 11.3,它爬了 20 步才到 0.026。

前两课已经说过原因:∂J/∂w\partial J/\partial w 乘了面积(量级约 100),∂J/∂b\partial J/\partial b 只是残差本身(量级约 1)。同一个 α\alpha,两边的速度差了一百倍。

结果就是:直线看起来已经贴合了(因为斜率对了),但整体位置还差一截——它比正确的位置略微靠下。

想靠调大 α\alpha 解决?不行——α\alpha 再大一点,ww 那边直接爆炸(上一课红色那条)。

唯一的正解是先把特征缩放到同一量级,让两个方向的梯度自然同尺度。那时同样的 α\alpha 会同时对 ww 和 bb 好用。

这正是下一章要做的第一件事。

核心概念(全章)

概念

一句话

线性回归

用 f(x)=wx+bf(x)=wx+b 拟合数据

参数

ww(斜率)和 bb(截距),是学出来的

超参数

学习率 α\alpha、迭代轮数,是你手动定的

损失函数 JJ

输入一组参数,输出一个数,越小越好

均方误差

12m∑(y^−y)2\frac{1}{2m}\sum(\hat{y}-y)^2,回归的标准损失

残差

y^−y\hat{y}-y,竖直方向的差,不是点到直线的垂距

导数 / 偏导

该参数挪一点,损失变多少;符号给方向,大小给陡峭度

梯度

所有偏导组成的向量,指向最陡上坡方向

梯度下降

沿负梯度方向反复迈小步

更新式

θ←θ−α∇J\theta \leftarrow \theta - \alpha\nabla J

同时更新

两个偏导都用旧参数算,算完再一起赋值

学习率

步长;太大震荡爆炸,太小慢到没用

步长自适应

越接近谷底梯度越小,步子自然变小

批量梯度下降

每步用全部样本算平均梯度

小批量

把 mm 换成批大小 kk,其余不变

局部最优

只能保证脚下是平的,不保证是全局最低

病态 / 量纲

各参数梯度量级差异大,导致收敛速度悬殊

下一章

第 2 章留下了一个具体的麻烦:bb 走得太慢,损失停在 42 而不是 37.27。

下一章(多元回归与特征缩放)先用两个特征把模型扩展开,再解决这个尺度问题。