总结:完整走一遍
回到那批房子
十二套房的成交记录,横轴面积、纵轴房价:

目标从头到尾没变过:造一个函数 ,输入面积,输出房价。
这一章其实只做了四件事
步骤 | 做什么 | 结果 |
|---|---|---|
定模型 | 假设关系是直线 | |
定标准 | 用一个数衡量"这条线多差" | |
找方向 | 算出每个参数该往哪调 | , |
迈步子 | 沿反方向走一小步 | , |
后面三步循环执行,直到 不再下降。
一步一步看直线归位
从 、(也就是 )出发,:

步 | 这条线在做什么 | |||
|---|---|---|---|---|
0 | 1.000 | 0.00 | 37007.9 | 太平,远低于所有点 |
1 | 2.240 | 0.01 | 10724.1 | 一口气抬起一大截 |
2 | 2.907 | 0.02 | 3128.9 | 继续靠近 |
3 | 3.265 | 0.02 | 934.1 | 已经像样了 |
5 | 3.562 | 0.02 | 116.6 | 只剩细调 |
20 | 3.682 | 0.03 | 42.1 | 看起来已经很贴 |
前两步干掉了 97% 的损失。 剩下十几步全是在磨最后那一点。
对应的损失曲线:

第 0 步的 离最优很远,所以第一次更新的步子最大( 一下跳到 2.24)。
这正是梯度下降的设计:离得越远走得越猛,越靠近越谨慎。 你不需要告诉它"还有多远"。
完整代码
import numpy as np area = np.array([55, 62, 70, 78, 85, 92, 100, 108, 115, 125, 135, 145], float) price = np.array([212.5, 241.2, 261.2, 280.5, 311.1, 328.1, 370.8, 416.8, 415.6, 448.8, 499.4, 532.5]) m = len(area) w, b = 1.0, 0.0 # 初始参数 alpha = 4.5e-5 # 学习率 for step in range(21): y_hat = w * area + b # 前向:算预测 err = y_hat - price # 残差 loss = np.mean(err ** 2) / 2 dw = np.mean(err * area) # 对 w 的偏导 db = np.mean(err) # 对 b 的偏导 print(f"{step:3d} w={w:.4f} b={b:.4f} J={loss:.2f}") w = w - alpha * dw # 同时更新 b = b - alpha * db二十几行,没有库调用,没有黑盒。这就是全部。
这是哪种梯度下降
你算梯度的时候,用的是全部 12 个样本:
那个 就是"把所有样本的梯度加起来,再除以样本数"。每次更新只用了一个数——全体样本的平均梯度。
这叫批量梯度下降(batch gradient descent)。
名称 | 每步用几个样本 | 梯度怎么算 | 特点 |
|---|---|---|---|
批量 batch | 全部 个 | 方向最准,但数据大时每步极慢 | |
随机 SGD | 1 个 | 单个样本的梯度 | 快但抖,方向只代表一个样本 |
小批量 mini-batch | 个(如 32、256) | 折中,实际训练默认用法 |
公式长得一模一样,唯一区别是求和范围:
本书前面用的全是批量版本——数据只有 12 个点,一次算完没关系。等到了深度学习,一条样本是几万维的张量,才必须分批。
但最后没到底
看那张损失曲线:第 20 步停在 42.1,而绿点标的真实最低是 37.27,在它下面。
差在哪?看参数:
第 20 步的值 | 真实最优 | |
|---|---|---|
3.682 | 3.575 | |
0.026 | 11.344 |
已经到位了, 还差得远——从 0 爬到 11.3,它爬了 20 步才到 0.026。
前两课已经说过原因: 乘了面积(量级约 100), 只是残差本身(量级约 1)。同一个 ,两边的速度差了一百倍。
结果就是:直线看起来已经贴合了(因为斜率对了),但整体位置还差一截——它比正确的位置略微靠下。
想靠调大 解决?不行—— 再大一点, 那边直接爆炸(上一课红色那条)。
唯一的正解是先把特征缩放到同一量级,让两个方向的梯度自然同尺度。那时同样的 会同时对 和 好用。
这正是下一章要做的第一件事。
核心概念(全章)
概念 | 一句话 |
|---|---|
线性回归 | 用 拟合数据 |
参数 | (斜率)和 (截距),是学出来的 |
超参数 | 学习率 、迭代轮数,是你手动定的 |
损失函数 | 输入一组参数,输出一个数,越小越好 |
均方误差 | ,回归的标准损失 |
残差 | ,竖直方向的差,不是点到直线的垂距 |
导数 / 偏导 | 该参数挪一点,损失变多少;符号给方向,大小给陡峭度 |
梯度 | 所有偏导组成的向量,指向最陡上坡方向 |
梯度下降 | 沿负梯度方向反复迈小步 |
更新式 | |
同时更新 | 两个偏导都用旧参数算,算完再一起赋值 |
学习率 | 步长;太大震荡爆炸,太小慢到没用 |
步长自适应 | 越接近谷底梯度越小,步子自然变小 |
批量梯度下降 | 每步用全部样本算平均梯度 |
小批量 | 把 换成批大小 ,其余不变 |
局部最优 | 只能保证脚下是平的,不保证是全局最低 |
病态 / 量纲 | 各参数梯度量级差异大,导致收敛速度悬殊 |
下一章
第 2 章留下了一个具体的麻烦: 走得太慢,损失停在 42 而不是 37.27。
下一章(多元回归与特征缩放)先用两个特征把模型扩展开,再解决这个尺度问题。