多元线性回归

一个特征不够用

第 2 章只有面积一个特征。现实里房价显然不只由面积决定:

房源

面积

楼层

房龄

卧室数

离地铁

A

100 ㎡

12

3 年

3

400 m

B

100 ㎡

1

20 年

2

1200 m

两套面积一样,价格很可能差几十万。只盯面积,模型永远解释不了这个差别。

所以把特征从 1 个扩到 nn 个。记第 ii 个样本的 nn 个特征为:

x(i)=(x1(i), x2(i), …, xn(i))x^{(i)} = \left(x_1^{(i)},\ x_2^{(i)},\ \dots,\ x_n^{(i)}\right)

上标 (i)(i) 是"第几个样本",下标 jj 是"第几个特征"。这两个索引别搞混。

把模型展开

每个特征配一个权重:

f(x)=w1x1+w2x2+w3x3+w4x4+bf(x) = w_1x_1 + w_2x_2 + w_3x_3 + w_4x_4 + b

拿 A 房举例,假设 w=(2.8, 0.5, −1.2, 8, −0.02)w = (2.8,\ 0.5,\ -1.2,\ 8,\ -0.02)、b=40b = 40:

f=2.8×100+0.5×12+(−1.2)×3+8×3+(−0.02)×400+40f = 2.8 \times 100 + 0.5 \times 12 + (-1.2) \times 3 + 8 \times 3 + (-0.02) \times 400 + 40
=280+6−3.6+24−8+40=338.4 万元= 280 + 6 - 3.6 + 24 - 8 + 40 = \mathbf{338.4}\ \text{万元}

每一项的含义:

项

值

读法

2.8×1002.8 \times 100

280

面积每多 1 ㎡,价格加 2.8 万

0.5×120.5 \times 12

6

楼层每高 1 层,加 0.5 万

−1.2×3-1.2 \times 3

−3.6

房龄每多 1 年,减 1.2 万

8×38 \times 3

24

每多一个卧室,加 8 万

−0.02×400-0.02 \times 400

−8

离地铁每远 1 m,减 0.02 万

权重是正的,这个特征推高价格;负的,拉低价格。

w2=0.5w_2 = 0.5 为正,说明在这批数据里楼层越高越贵;w3=−1.2w_3 = -1.2 为负,房龄越大越便宜。

这些数是模型从数据里学到的,不是你写的。但前提是数据里真有这个规律——喂它一堆烂数据,它也会一本正经地学出离谱的权重。

写成向量

四个特征就要写四项,二十个特征呢?

把特征和权重各自打包成向量:

x=[x1x2⋮xn],w=[w1w2⋮wn]\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}, \qquad \mathbf{w} = \begin{bmatrix} w_1 \\ w_2 \\ \vdots \\ w_n \end{bmatrix}

模型就变成两个向量的点积加一个常数:

f(x)=w⊤x+b=∑j=1nwjxj+bf(\mathbf{x}) = \mathbf{w}^{\top}\mathbf{x} + b = \sum_{j=1}^{n} w_j x_j + b

w⊤\mathbf{w}^{\top} 是转置,写成行向量好和列向量 x\mathbf{x} 相乘。初学时把它当成"两个向量逐项相乘再求和"的记号即可。

w⊤x\mathbf{w}^{\top}\mathbf{x}、w⋅x\mathbf{w} \cdot \mathbf{x}、⟨w,x⟩\langle \mathbf{w}, \mathbf{x} \rangle、x⊤w\mathbf{x}^{\top}\mathbf{w} —— 全都是同一个东西:逐项相乘再求和,结果是一个数。

看到不同写法别慌,认准"逐项乘、加起来"就行。

这就是多元线性回归

多元线性回归(multiple linear regression):输入是多个特征组成的向量,输出仍是 w⊤x+b\mathbf{w}^{\top}\mathbf{x} + b。

"线性"指的是对参数线性,不是"图像是一条直线"。哪怕你把面积平方变成新特征 x2=x12x_2 = x_1^2,只要还是 w2x2w_2x_2 的形式,模型依然是线性的。

特征从 1 个变成 2 个,模型就不再是一条直线——它是一张平面。蓝点是样本,绿色平面是拟合出来的模型。三个特征以上就画不出来了,但道理一样,只是又升了一维。

损失函数和梯度的形式一点没变,只是每个参数多了一个下标:

J(w,b)=12m∑i=1m(w⊤x(i)+b−y(i))2J(\mathbf{w}, b) = \frac{1}{2m}\sum_{i=1}^{m}\left(\mathbf{w}^{\top}\mathbf{x}^{(i)} + b - y^{(i)}\right)^2
∂J∂wj=1m∑i=1m(y^(i)−y(i))xj(i),∂J∂b=1m∑i=1m(y^(i)−y(i))\frac{\partial J}{\partial w_j} = \frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)x_j^{(i)}, \qquad \frac{\partial J}{\partial b} = \frac{1}{m}\sum_{i=1}^{m}\left(\hat{y}^{(i)} - y^{(i)}\right)

好消息是:代码几乎不用改,因为 numpy 会把循环干掉。

向量化到底省了什么

要算 w1x1+⋯+wnxnw_1x_1 + \dots + w_nx_n。

不用向量化,只能写循环:

s = 0.0 for j in range(n): s += w[j] * x[j]

用向量化,一行:

s = w @ x

区别不只是少敲几个字。实测(这台机器上,n=106n = 10^6):

写法

耗时

相对速度

Python for 循环

0.706 s

1×

numpy 点积

0.0083 s

85×

差了八十五倍,而且 nn 越大差距越大。

Python 的 for 循环每转一圈都要做类型检查、对象查找、方法调用——这些工作在 C 里都是零成本的。

numpy 数组在内存里是一整块连续的数字,点积直接把整块交给底层 BLAS 库。BLAS 是几十年来为矩阵运算优化的 C/Fortran 代码,会用上 SIMD 指令和多核并行。

到了深度学习这件事更极端:GPU 一次能算几千个乘加,Python 循环只能一个一个来。所以"能不能写成矩阵运算"直接决定你的代码跑几秒还是几小时。

85 倍是 n=106n = 10^6 时测的。如果 n=5n = 5,写循环可能反而更快——numpy 每次调用都有固定开销。

向量化的收益随数据规模增长。 小数据写清楚比写快重要。

numpy 上手

下面这些够用很久。

创建与形状

import numpy as np x = np.array([45, 52, 58]) # 一维,3 个元素 X = np.array([[45, 3], [52, 7]]) # 二维:2 行 2 列 x.shape # (3,) X.shape # (2, 2) X.ndim # 2

绝大多数 bug 不是数学错了,是形状不对:本该 (m,n)(m, n) 的矩阵变成了 (n,m)(n, m),本该是列向量却是一维数组。

所以调试第一件事永远是打印 shape。

逐元素相乘 和 点积

最容易混的一对:

a = np.array([1, 2, 3]) b = np.array([4, 5, 6]) a * b # array([ 4, 10, 18]) 对应位置各乘各的,结果还是向量 a @ b # 32 1*4 + 2*5 + 3*6,结果是一个数 np.dot(a, b) # 32 和 @ 完全一样

运算符

名字

结果

*

逐元素乘 element-wise

向量

@

矩阵乘 / 点积

一维时是标量

np.dot

同 @

同 @

模型 w⊤x\mathbf{w}^{\top}\mathbf{x} 用的是后者。

用点积算一遍模型

w = np.array([2.8, 0.5, -1.2, 8.0, -0.02]) # 面积 楼层 房龄 卧室 地铁 x = np.array([100, 12, 3, 3, 400]) b = 40 f = w @ x + b # 338.4

同样一次预测,循环要五行,点积一行,还快几十倍。

广播

形状不同的数组做运算时,numpy 会自动把小的"铺开":

a = np.array([1, 2, 3]) a + 10 # array([11, 12, 13]) 标量自动加到每个元素上 a * 2 # array([ 2, 4, 6])

这就是为什么 w⊤x+b\mathbf{w}^{\top}\mathbf{x} + b 里的 +b+ b 不用写循环——标量会自动加到每个样本上。

核心概念

概念

内容

多元线性回归

多个特征,模型仍是 w⊤x+b\mathbf{w}^{\top}\mathbf{x} + b

特征向量 x\mathbf{x}

一个样本的 nn 个特征组成的向量

权重向量 w\mathbf{w}

每个特征一个权重,它的正负号有实际含义

点积

逐项相乘再求和,结果是一个数,写作 w⊤x\mathbf{w}^{\top}\mathbf{x} 或 w @ x

线性的含义

指对参数线性,不是"图像是直线"

向量化

用数组整体运算代替 for 循环

为什么快

连续内存 + BLAS + SIMD/多核/GPU 并行

numpy 的坑

* 是逐元素乘,@ 才是点积;出错先看 shape

下一课

特征从 1 个变成 nn 个之后,第 2 章那个"bb 走得慢"的问题会成倍恶化——每个特征的数值范围都不一样。

下一课讲特征缩放,把这批烂摊子收拾掉。