公式没变,只是下标多了
上一课把模型扩展成了 w⊤x+b。梯度下降的算法一个字都没改:
wj←wj−α∂wj∂J,b←b−α∂b∂J 偏导的式子也一样,就是每个权重配一个:
∂wj∂J=m1i=1∑m(y^(i)−y(i))xj(i),∂b∂J=m1i=1∑m(y^(i)−y(i)) 单特征时只有 ∂J/∂w 一个偏导;现在有 n 个(j=1…n)。
公式的长相完全一样——每个特征的偏导,就是残差乘上那个特征,再求平均。
∂J/∂b 尤其简单:它连特征都不乘,就是残差的平均值。
用真实数据算几步
二十套房,每套三个特征:面积(㎡)、楼层、房龄(年)。
面积 | 楼层 | 房龄 | 成交价(万元) |
|---|
45 | 1 | 22 | 139.2 |
52 | 3 | 18 | 180.9 |
58 | 5 | 25 | 185.5 |
… | … | … | … |
从 w=(1.0, 0.5, −0.5)、b=0 出发,α=10−5。第一步:
参数 | 当前的偏导 | 含义 |
|---|
∂J/∂w1(面积) | −25859.58 | 增加面积会大幅降低损失 |
∂J/∂w2(楼层) | −2741.49 | 增加楼层也会降低,但幅度小得多 |
∂J/∂w3(房龄) | −2420.15 | 同上 |
∂J/∂b | −222.70 | 截距也该增大 |
全部为负 → 四个参数都该增大。
跑五步:
步 | w1 面积 | w2 楼层 | w3 房龄 | b | J |
|---|
0 | 1.0000 | 0.50 | −0.50 | 0.0000 | 27413.75 |
1 | 1.2586 | 0.53 | −0.48 | 0.0022 | 21018.64 |
2 | 1.4849 | 0.55 | −0.45 | 0.0042 | 16122.27 |
3 | 1.6829 | 0.57 | −0.44 | 0.0059 | 12373.39 |
4 | 1.8561 | 0.59 | −0.42 | 0.0074 | 9503.08 |
5 | 2.0077 | 0.61 | −0.41 | 0.0087 | 7305.44 |
损失从 27413 降到 7305,在稳步下降。
五步下来:
w1(面积)走了 1.01
w2(楼层)走了 0.11
w3(房龄)走了 0.09
b 走了 0.0087
同一个学习率,四个参数的进度差了一百多倍。
原因还是量纲:面积是几十到一百多,楼层是 1–20,房龄是 1–30,截距是个位数的常数。梯度里乘的那个 xj 有多大,梯度就有多大。
这叫病态(ill-conditioned)。第 2 章只有两个参数时它已经碍事了;现在有四个,只会更糟。
下一课的特征缩放就是专门治它的。

左边是四个参数各自的轨迹,右边是对应的损失(纵轴取了 log)。
看左边:面积一下子就冲到位,还冲过了头(冲到 3.0 又回落到 2.9);楼层慢慢往上爬;房龄和 b 到第 3000 步都还没走完。
同一个学习率,四条曲线长得完全不一样。
正规方程
梯度下降是"一步步摸下去"。但线性回归有个特权:损失是凸的,最低点可以用公式直接解出来。
令梯度为零:
∂θ∂J=0 把所有参数(包括 b)合成一个向量 θ=(b,w1,…,wn),把所有样本的特征矩阵左边补一列 1,记作 A:
A=1⋮1x1(1)x1(m)⋯⋯xn(1)⋮xn(m) 那么损失可以写成 J(θ)=2m1∥Aθ−y∥2。令它的梯度为零,解出:
θ=(A⊤A)−1A⊤y 这就是正规方程(normal equation)。一步到位,不用迭代、不用学习率。
用上面那批数据算出来:
θ=(b, w1, w2, w3)=(66.4635, 2.3876, 3.0348, −1.6815),J=26.35 对比梯度下降跑五步后的 7305——正规方程直接给出了 26.35。
数据是我按 2.6×面积+1.5×楼层−1.8×房龄+60 造的,但解出来是 2.39,3.03,−1.68。
两个原因:样本只有 20 个、还加了噪声;而且我故意让楼层和面积同向增长(大房子楼层也高),这使得两个特征共线,模型分不清涨价的功劳该归谁。
共线性会让权重变得不可解释。这是真实数据里极常见的问题,后面讲正则化时会再碰它。
正规方程 vs 梯度下降
| 正规方程 | 梯度下降 |
|---|
要不要调学习率 | 不用 | 要 |
要不要迭代 | 不用,一步到位 | 要跑很多轮 |
计算量 | (A⊤A)−1 是 O(n3) | 每步 O(mn) |
特征很多时(n>104) | 慢到不可用 | 依然可行 |
特征共线时 | A⊤A 可能不可逆 | 照样能跑 |
适用 | 小规模线性回归 | 几乎所有别的模型 |
sklearn 的 LinearRegression 底层用的是 最小二乘的 SVD 解法,不是直接算 (A⊤A)−1。
因为求逆在数值上不稳定(条件数一大就崩),而 SVD 稳得多。这里写 (A⊤A)−1 是为了说明数学原理,不是让你照着写代码。
标量对向量的求导
到这里你可能发现了:θ 展开后有好几个分量,一个个写偏导很啰嗦。上面那个正规方程的推导,我是直接跳到结果的。
中间那一步——怎么对一整个向量求导——就是矩阵求导要解决的事。
它在求什么
J 是一个标量(一个数),θ 是一个向量(n 个数)。
"标量对向量求导"的结果,是一个向量,形状和分母一样,每个分量是 J 对那个分量的偏导:
∂θ∂J=∂J/∂θ1⋮∂J/∂θn 也就是说:矩阵求导不是新数学,只是把 n 个偏导打包成一个向量。 你已经在做的事,换个记号而已。
够用的三条规则
规则 | 式子 | 说明 |
|---|
线性 | ∂θ∂(a⊤θ)=a | 结果和 a 同形 |
平方 | ∂θ∂(θ⊤θ)=2θ | 就是标量里 x2 求导得 2x |
链式 | 若 u=Aθ+c,则 ∂θ∂f(u)=A⊤∂u∂f | 转置挪到前面 |
第三条是全部难点所在。记住一句话:A 变成 A⊤,乘在前面。
推导 MSE 的梯度
J(θ)=2m1∥Aθ−y∥2=2m1(Aθ−y)⊤(Aθ−y) 令 u=Aθ−y,于是 J=2m1u⊤u。分三步:
第一步,对 u 求导(用平方规则):
∂u∂J=2m1⋅2u=m1u 第二步,从 u 回到 θ(用链式规则,u=Aθ−y 里 A 的转置挪到前面):
∂θ∂J=A⊤∂u∂J 第三步,合起来:
∂θ∂J=m1A⊤(Aθ−y) 三行就完事了。对比一下:展开成标量要写 n+1 个求和式。
这和之前那个公式是同一个东西
把 A⊤(Aθ−y) 按分量写开,第 j 个分量是"A 的第 j 列"和"残差向量"的点积:
m1i=1∑m(y^(i)−y(i))xj(i) 就是前面那个 ∂wj∂J,一模一样。
用同一组数据和同一组参数,分别用「逐参数循环求偏导」和「矩阵公式」算梯度:
逐参数:dw = [-25859.58, -2741.49, -2420.15] db = -222.695 矩阵式:[b, w] = [-222.695, -25859.58, -2741.49, -2420.15]
完全一致(顺序不同而已,因为矩阵式把 b 放在第一列)。
矩阵求导不会给你更准的答案,它给你更短的推导和更快的代码。
写进代码
import numpy as np A = np.c_[np.ones(m), X] # 左边补一列 1,给 b 用 theta = np.zeros(A.shape[1]) # [b, w1, w2, ...] def gradient(theta): residual = A @ theta - y return (1.0 / m) * (A.T @ residual)
三行代码,替代了整个 for 循环。n 从 3 变成 300 时,这三行一个字都不用改。
令 m1A⊤(Aθ−y)=0,两边乘 m:
A⊤Aθ=A⊤y⟹θ=(A⊤A)−1A⊤y 刚才那个"一步到位"的解,就是这么来的。矩阵求导的价值在这里体现得最清楚:一个公式推出另一个公式。
核心概念
概念 | 内容 |
|---|
多参数梯度下降 | 公式和单特征完全一样,只是每个 wj 各有一个偏导 |
偏导含义 | 残差乘对应特征再求平均;b 的偏导就是残差平均 |
病态 | 各特征量级不同 → 梯度量级悬殊 → 同一步长下进度差百倍 |
正规方程 | θ=(A⊤A)−1A⊤y,一步解出最优 |
正规方程的代价 | O(n3),特征多时不可用;共线时可能不可逆 |
标量对向量求导 | 结果是同形状的向量,每个分量是一个偏导 |
链式规则 | ∂θ∂f(Aθ)=A⊤∂u∂f,转置挪到前面 |
MSE 的梯度 | m1A⊤(Aθ−y),三行推完 |
意义 | 矩阵求导不改变结果,只缩短推导、加快代码 |
下一课
现在知道了四个参数为什么进步速度差一百倍。下一课动手术:特征缩放。
目标很具体——让上面那张表里,w1、w2、w3、b 的进度看起来差不多。