多元线性回归
一个特征不够用
第 2 章只有面积一个特征。现实里房价显然不只由面积决定:
房源 | 面积 | 楼层 | 房龄 | 卧室数 | 离地铁 |
|---|---|---|---|---|---|
A | 100 ㎡ | 12 | 3 年 | 3 | 400 m |
B | 100 ㎡ | 1 | 20 年 | 2 | 1200 m |
两套面积一样,价格很可能差几十万。只盯面积,模型永远解释不了这个差别。
所以把特征从 1 个扩到 个。记第 个样本的 个特征为:
上标 是"第几个样本",下标 是"第几个特征"。这两个索引别搞混。
把模型展开
每个特征配一个权重:
拿 A 房举例,假设 、:
每一项的含义:
项 | 值 | 读法 |
|---|---|---|
280 | 面积每多 1 ㎡,价格加 2.8 万 | |
6 | 楼层每高 1 层,加 0.5 万 | |
−3.6 | 房龄每多 1 年,减 1.2 万 | |
24 | 每多一个卧室,加 8 万 | |
−8 | 离地铁每远 1 m,减 0.02 万 |
权重是正的,这个特征推高价格;负的,拉低价格。
为正,说明在这批数据里楼层越高越贵; 为负,房龄越大越便宜。
这些数是模型从数据里学到的,不是你写的。但前提是数据里真有这个规律——喂它一堆烂数据,它也会一本正经地学出离谱的权重。
写成向量
四个特征就要写四项,二十个特征呢?
把特征和权重各自打包成向量:
模型就变成两个向量的点积加一个常数:
是转置,写成行向量好和列向量 相乘。初学时把它当成"两个向量逐项相乘再求和"的记号即可。
、、、 —— 全都是同一个东西:逐项相乘再求和,结果是一个数。
看到不同写法别慌,认准"逐项乘、加起来"就行。
这就是多元线性回归
多元线性回归(multiple linear regression):输入是多个特征组成的向量,输出仍是 。
"线性"指的是对参数线性,不是"图像是一条直线"。哪怕你把面积平方变成新特征 ,只要还是 的形式,模型依然是线性的。

特征从 1 个变成 2 个,模型就不再是一条直线——它是一张平面。蓝点是样本,绿色平面是拟合出来的模型。三个特征以上就画不出来了,但道理一样,只是又升了一维。
损失函数和梯度的形式一点没变,只是每个参数多了一个下标:
好消息是:代码几乎不用改,因为 numpy 会把循环干掉。
向量化到底省了什么
要算 。
不用向量化,只能写循环:
s = 0.0 for j in range(n): s += w[j] * x[j]用向量化,一行:
s = w @ x区别不只是少敲几个字。实测(这台机器上,):
写法 | 耗时 | 相对速度 |
|---|---|---|
Python for 循环 | 0.706 s | 1× |
numpy 点积 | 0.0083 s | 85× |
差了八十五倍,而且 越大差距越大。
Python 的 for 循环每转一圈都要做类型检查、对象查找、方法调用——这些工作在 C 里都是零成本的。
numpy 数组在内存里是一整块连续的数字,点积直接把整块交给底层 BLAS 库。BLAS 是几十年来为矩阵运算优化的 C/Fortran 代码,会用上 SIMD 指令和多核并行。
到了深度学习这件事更极端:GPU 一次能算几千个乘加,Python 循环只能一个一个来。所以"能不能写成矩阵运算"直接决定你的代码跑几秒还是几小时。
85 倍是 时测的。如果 ,写循环可能反而更快——numpy 每次调用都有固定开销。
向量化的收益随数据规模增长。 小数据写清楚比写快重要。
numpy 上手
下面这些够用很久。
创建与形状
import numpy as np x = np.array([45, 52, 58]) # 一维,3 个元素 X = np.array([[45, 3], [52, 7]]) # 二维:2 行 2 列 x.shape # (3,) X.shape # (2, 2) X.ndim # 2绝大多数 bug 不是数学错了,是形状不对:本该 的矩阵变成了 ,本该是列向量却是一维数组。
所以调试第一件事永远是打印 shape。
逐元素相乘 和 点积
最容易混的一对:
a = np.array([1, 2, 3]) b = np.array([4, 5, 6]) a * b # array([ 4, 10, 18]) 对应位置各乘各的,结果还是向量 a @ b # 32 1*4 + 2*5 + 3*6,结果是一个数 np.dot(a, b) # 32 和 @ 完全一样运算符 | 名字 | 结果 |
|---|---|---|
| 逐元素乘 element-wise | 向量 |
| 矩阵乘 / 点积 | 一维时是标量 |
| 同 | 同 |
模型 用的是后者。
用点积算一遍模型
w = np.array([2.8, 0.5, -1.2, 8.0, -0.02]) # 面积 楼层 房龄 卧室 地铁 x = np.array([100, 12, 3, 3, 400]) b = 40 f = w @ x + b # 338.4同样一次预测,循环要五行,点积一行,还快几十倍。
广播
形状不同的数组做运算时,numpy 会自动把小的"铺开":
a = np.array([1, 2, 3]) a + 10 # array([11, 12, 13]) 标量自动加到每个元素上 a * 2 # array([ 2, 4, 6])这就是为什么 里的 不用写循环——标量会自动加到每个样本上。
核心概念
概念 | 内容 |
|---|---|
多元线性回归 | 多个特征,模型仍是 |
特征向量 | 一个样本的 个特征组成的向量 |
权重向量 | 每个特征一个权重,它的正负号有实际含义 |
点积 | 逐项相乘再求和,结果是一个数,写作 或 |
线性的含义 | 指对参数线性,不是"图像是直线" |
向量化 | 用数组整体运算代替 for 循环 |
为什么快 | 连续内存 + BLAS + SIMD/多核/GPU 并行 |
numpy 的坑 |
|
下一课
特征从 1 个变成 个之后,第 2 章那个" 走得慢"的问题会成倍恶化——每个特征的数值范围都不一样。
下一课讲特征缩放,把这批烂摊子收拾掉。