多元线性回归的梯度下降

公式没变,只是下标多了

上一课把模型扩展成了 w⊤x+b\mathbf{w}^{\top}\mathbf{x} + b。梯度下降的算法一个字都没改:

wj←wj−α∂J∂wj,b←b−α∂J∂bw_j \leftarrow w_j - \alpha\frac{\partial J}{\partial w_j}, \qquad b \leftarrow b - \alpha\frac{\partial J}{\partial b}

偏导的式子也一样,就是每个权重配一个:

∂J∂wj=1m∑i=1m(y^(i)−y(i))xj(i),∂J∂b=1m∑i=1m(y^(i)−y(i))\frac{\partial J}{\partial w_j} = \frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)x_j^{(i)}, \qquad \frac{\partial J}{\partial b} = \frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)

单特征时只有 ∂J/∂w\partial J/\partial w 一个偏导;现在有 nn 个(j=1…nj = 1 \dots n)。

公式的长相完全一样——每个特征的偏导,就是残差乘上那个特征,再求平均。

∂J/∂b\partial J/\partial b 尤其简单:它连特征都不乘,就是残差的平均值。

用真实数据算几步

二十套房,每套三个特征:面积(㎡)、楼层、房龄(年)。

面积

楼层

房龄

成交价(万元)

45

1

22

139.2

52

3

18

180.9

58

5

25

185.5

…

…

…

…

从 w=(1.0, 0.5, −0.5)\mathbf{w} = (1.0,\ 0.5,\ -0.5)、b=0b = 0 出发,α=10−5\alpha = 10^{-5}。第一步:

参数

当前的偏导

含义

∂J/∂w1\partial J/\partial w_1(面积)

−25859.58

增加面积会大幅降低损失

∂J/∂w2\partial J/\partial w_2(楼层)

−2741.49

增加楼层也会降低,但幅度小得多

∂J/∂w3\partial J/\partial w_3(房龄)

−2420.15

同上

∂J/∂b\partial J/\partial b

−222.70

截距也该增大

全部为负 → 四个参数都该增大。

跑五步:

步

w1w_1 面积

w2w_2 楼层

w3w_3 房龄

bb

JJ

0

1.0000

0.50

−0.50

0.0000

27413.75

1

1.2586

0.53

−0.48

0.0022

21018.64

2

1.4849

0.55

−0.45

0.0042

16122.27

3

1.6829

0.57

−0.44

0.0059

12373.39

4

1.8561

0.59

−0.42

0.0074

9503.08

5

2.0077

0.61

−0.41

0.0087

7305.44

损失从 27413 降到 7305,在稳步下降。

五步下来:

  • w1w_1(面积)走了 1.01

  • w2w_2(楼层)走了 0.11

  • w3w_3(房龄)走了 0.09

  • bb 走了 0.0087

同一个学习率,四个参数的进度差了一百多倍。

原因还是量纲:面积是几十到一百多,楼层是 1–20,房龄是 1–30,截距是个位数的常数。梯度里乘的那个 xjx_j 有多大,梯度就有多大。

这叫病态(ill-conditioned)。第 2 章只有两个参数时它已经碍事了;现在有四个,只会更糟。

下一课的特征缩放就是专门治它的。

左边是四个参数各自的轨迹,右边是对应的损失(纵轴取了 log)。

看左边:面积一下子就冲到位,还冲过了头(冲到 3.0 又回落到 2.9);楼层慢慢往上爬;房龄和 bb 到第 3000 步都还没走完。

同一个学习率,四条曲线长得完全不一样。

正规方程

梯度下降是"一步步摸下去"。但线性回归有个特权:损失是凸的,最低点可以用公式直接解出来。

令梯度为零:

∂J∂θ=0\frac{\partial J}{\partial \theta} = 0

把所有参数(包括 bb)合成一个向量 θ=(b,w1,…,wn)\theta = (b, w_1, \dots, w_n),把所有样本的特征矩阵左边补一列 1,记作 AA:

A=[1x1(1)⋯xn(1)⋮⋮1x1(m)⋯xn(m)]A = \begin{bmatrix} 1 & x_1^{(1)} & \cdots & x_n^{(1)} \\ \vdots & & & \vdots \\ 1 & x_1^{(m)} & \cdots & x_n^{(m)} \end{bmatrix}

那么损失可以写成 J(θ)=12m∥Aθ−y∥2J(\theta) = \dfrac{1}{2m}\lVert A\theta - y \rVert^2。令它的梯度为零,解出:

 θ=(A⊤A)−1A⊤y \boxed{\ \theta = \left(A^{\top}A\right)^{-1} A^{\top}y\ }

这就是正规方程(normal equation)。一步到位,不用迭代、不用学习率。

用上面那批数据算出来:

θ=(b, w1, w2, w3)=(66.4635, 2.3876, 3.0348, −1.6815),J=26.35\theta = (b,\ w_1,\ w_2,\ w_3) = (66.4635,\ 2.3876,\ 3.0348,\ -1.6815), \qquad J = 26.35

对比梯度下降跑五步后的 7305——正规方程直接给出了 26.35。

数据是我按 2.6×面积+1.5×楼层−1.8×房龄+602.6 \times \text{面积} + 1.5 \times \text{楼层} - 1.8 \times \text{房龄} + 60 造的,但解出来是 2.39,3.03,−1.682.39, 3.03, -1.68。

两个原因:样本只有 20 个、还加了噪声;而且我故意让楼层和面积同向增长(大房子楼层也高),这使得两个特征共线,模型分不清涨价的功劳该归谁。

共线性会让权重变得不可解释。这是真实数据里极常见的问题,后面讲正则化时会再碰它。

正规方程 vs 梯度下降

正规方程

梯度下降

要不要调学习率

不用

要

要不要迭代

不用,一步到位

要跑很多轮

计算量

(A⊤A)−1(A^{\top}A)^{-1} 是 O(n3)O(n^3)

每步 O(mn)O(mn)

特征很多时(n>104n > 10^4)

慢到不可用

依然可行

特征共线时

A⊤AA^{\top}A 可能不可逆

照样能跑

适用

小规模线性回归

几乎所有别的模型

sklearn 的 LinearRegression 底层用的是 最小二乘的 SVD 解法,不是直接算 (A⊤A)−1(A^{\top}A)^{-1}。

因为求逆在数值上不稳定(条件数一大就崩),而 SVD 稳得多。这里写 (A⊤A)−1(A^{\top}A)^{-1} 是为了说明数学原理,不是让你照着写代码。

标量对向量的求导

到这里你可能发现了:θ\theta 展开后有好几个分量,一个个写偏导很啰嗦。上面那个正规方程的推导,我是直接跳到结果的。

中间那一步——怎么对一整个向量求导——就是矩阵求导要解决的事。

它在求什么

JJ 是一个标量(一个数),θ\theta 是一个向量(nn 个数)。

"标量对向量求导"的结果,是一个向量,形状和分母一样,每个分量是 JJ 对那个分量的偏导:

∂J∂θ=[∂J/∂θ1⋮∂J/∂θn]\frac{\partial J}{\partial \theta} = \begin{bmatrix} \partial J/\partial \theta_1 \\ \vdots \\ \partial J/\partial \theta_n \end{bmatrix}

也就是说:矩阵求导不是新数学,只是把 nn 个偏导打包成一个向量。 你已经在做的事,换个记号而已。

够用的三条规则

规则

式子

说明

线性

∂(a⊤θ)∂θ=a\dfrac{\partial (a^{\top}\theta)}{\partial \theta} = a

结果和 aa 同形

平方

∂(θ⊤θ)∂θ=2θ\dfrac{\partial (\theta^{\top}\theta)}{\partial \theta} = 2\theta

就是标量里 x2x^2 求导得 2x2x

链式

若 u=Aθ+cu = A\theta + c,则 ∂f(u)∂θ=A⊤∂f∂u\dfrac{\partial f(u)}{\partial \theta} = A^{\top}\dfrac{\partial f}{\partial u}

转置挪到前面

第三条是全部难点所在。记住一句话:AA 变成 A⊤A^{\top},乘在前面。

推导 MSE 的梯度

J(θ)=12m∥Aθ−y∥2=12m(Aθ−y)⊤(Aθ−y)J(\theta) = \frac{1}{2m}\lVert A\theta - y\rVert^2 = \frac{1}{2m}(A\theta - y)^{\top}(A\theta - y)

令 u=Aθ−yu = A\theta - y,于是 J=12mu⊤uJ = \frac{1}{2m}u^{\top}u。分三步:

第一步,对 uu 求导(用平方规则):

∂J∂u=12m⋅2u=1mu\frac{\partial J}{\partial u} = \frac{1}{2m} \cdot 2u = \frac{1}{m}u

第二步,从 uu 回到 θ\theta(用链式规则,u=Aθ−yu = A\theta - y 里 AA 的转置挪到前面):

∂J∂θ=A⊤∂J∂u\frac{\partial J}{\partial \theta} = A^{\top}\frac{\partial J}{\partial u}

第三步,合起来:

 ∂J∂θ=1mA⊤(Aθ−y) \boxed{\ \frac{\partial J}{\partial \theta} = \frac{1}{m}A^{\top}(A\theta - y)\ }

三行就完事了。对比一下:展开成标量要写 n+1n+1 个求和式。

这和之前那个公式是同一个东西

把 A⊤(Aθ−y)A^{\top}(A\theta - y) 按分量写开,第 jj 个分量是"AA 的第 jj 列"和"残差向量"的点积:

1m∑i=1m(y^(i)−y(i))xj(i)\frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)x_j^{(i)}

就是前面那个 ∂J∂wj\dfrac{\partial J}{\partial w_j},一模一样。

用同一组数据和同一组参数,分别用「逐参数循环求偏导」和「矩阵公式」算梯度:

逐参数:dw = [-25859.58, -2741.49, -2420.15] db = -222.695 矩阵式:[b, w] = [-222.695, -25859.58, -2741.49, -2420.15]

完全一致(顺序不同而已,因为矩阵式把 bb 放在第一列)。

矩阵求导不会给你更准的答案,它给你更短的推导和更快的代码。

写进代码

import numpy as np A = np.c_[np.ones(m), X] # 左边补一列 1,给 b 用 theta = np.zeros(A.shape[1]) # [b, w1, w2, ...] def gradient(theta): residual = A @ theta - y return (1.0 / m) * (A.T @ residual)

三行代码,替代了整个 for 循环。nn 从 3 变成 300 时,这三行一个字都不用改。

令 1mA⊤(Aθ−y)=0\dfrac{1}{m}A^{\top}(A\theta - y) = 0,两边乘 mm:

A⊤Aθ=A⊤y  ⟹  θ=(A⊤A)−1A⊤yA^{\top}A\theta = A^{\top}y \;\Longrightarrow\; \theta = (A^{\top}A)^{-1}A^{\top}y

刚才那个"一步到位"的解,就是这么来的。矩阵求导的价值在这里体现得最清楚:一个公式推出另一个公式。

核心概念

概念

内容

多参数梯度下降

公式和单特征完全一样,只是每个 wjw_j 各有一个偏导

偏导含义

残差乘对应特征再求平均;bb 的偏导就是残差平均

病态

各特征量级不同 → 梯度量级悬殊 → 同一步长下进度差百倍

正规方程

θ=(A⊤A)−1A⊤y\theta = (A^{\top}A)^{-1}A^{\top}y,一步解出最优

正规方程的代价

O(n3)O(n^3),特征多时不可用;共线时可能不可逆

标量对向量求导

结果是同形状的向量,每个分量是一个偏导

链式规则

∂f(Aθ)∂θ=A⊤∂f∂u\dfrac{\partial f(A\theta)}{\partial \theta} = A^{\top}\dfrac{\partial f}{\partial u},转置挪到前面

MSE 的梯度

1mA⊤(Aθ−y)\dfrac{1}{m}A^{\top}(A\theta - y),三行推完

意义

矩阵求导不改变结果,只缩短推导、加快代码

下一课

现在知道了四个参数为什么进步速度差一百倍。下一课动手术:特征缩放。

目标很具体——让上面那张表里,w1w_1、w2w_2、w3w_3、bb 的进度看起来差不多。