习题
用到的公式
模型、损失、梯度、更新,四件套:
第一组 · 手算
还是那 13 个肿瘤样本,单特征:
样本 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
大小 | 1.0 | 1.5 | 2.0 | 2.2 | 2.8 | 3.0 | 3.5 | 4.0 | 4.5 | 5.0 | 5.5 | 6.5 | 7.0 |
0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | 1 | 1 |
第一题 从 、 出发,损失 是多少?先别急着算,用脑子想一下:这时候模型对每个样本的预测都是 0.5,那么损失应该等于多少?
(提示:数一下有几个 、几个 。)
第二题 算出这一点的 和 。为什么两者的绝对值差了十几倍?
第三题 取 ,更新一步。写出新的 、,并算出新的损失。
第四题 接着跑,第 10 步的损失是多少?和第 1 步相比,下降得快还是慢?
第二组 · numpy
换一批数据:20 位病人,两个特征——肿瘤大小和年龄。

大小 | 年龄 | 标签 | 大小 | 年龄 | 标签 |
|---|---|---|---|---|---|
7.3 | 65.9 | 1 | 5.1 | 64.2 | 1 |
1.5 | 50.7 | 0 | 7.9 | 57.2 | 1 |
5.7 | 55.4 | 1 | 5.9 | 42.9 | 1 |
4.3 | 53.8 | 1 | 2.5 | 31.6 | 0 |
5.7 | 56.4 | 0 | 4.0 | 47.9 | 0 |
1.3 | 69.8 | 0 | 1.7 | 55.1 | 0 |
1.4 | 53.1 | 0 | 3.0 | 59.4 | 0 |
2.2 | 35.7 | 0 | 3.1 | 56.8 | 0 |
7.9 | 57.7 | 1 | 1.1 | 53.9 | 0 |
3.1 | 57.6 | 0 | 6.9 | 54.2 | 1 |
import numpy as np X = np.array([[7.3,65.9],[1.5,50.7],[5.7,55.4],[4.3,53.8],[5.7,56.4], [1.3,69.8],[1.4,53.1],[2.2,35.7],[7.9,57.7],[3.1,57.6], [5.1,64.2],[7.9,57.2],[5.9,42.9],[2.5,31.6],[4.0,47.9], [1.7,55.1],[3.0,59.4],[3.1,56.8],[1.1,53.9],[6.9,54.2]]) y = np.array([1,0,1,1,0,0,0,0,1,0,1,1,1,0,0,0,0,0,0,1], float)第五题 从全零出发,算出起点损失和两个梯度。注意看两个 的梯度——它们的量级一样吗?为什么?
第六题 这里是关键。
用 ,不做任何缩放跑 200 步。记录第 1、5、20、100、200 步的损失。
然后把两个特征都标准化(减均值、除标准差),用同一个 ,再跑一次,记录同样的位置。
把两次的损失放在一起对比,你看到了什么?
第七题 用标准化后的结果,算出训练集准确率(预测概率大于 0.5 判 1)。
第三组 · 拓展
第八题 写出这个两特征模型的决策边界方程。它在 平面上是什么形状?
第九题 如果你坚持不标准化, 最大能取到多少还能收敛?和 0.05 差几倍?为什么差这么多?
第一组手算完全可行——十三个样本,每个样本只有一次乘法和一次对数。
第二组必须写代码。不要手算,二十个点加上迭代,手算没有意义。
答案
第一题
预测全是 0.5,所以每个样本的损失是 ,不管它是 0 还是 1。
这就是"完全瞎猜"的成本。二分类问题里,任何什么都不学的模型,损失都停在这个数附近。
第二题
对所有 成立,残差 只有两种取值:
前 7 个():
后 6 个():
差了 16.5 倍。原因: 的梯度里多乘了一个 ,而 的均值是 3.73。
注意两个梯度的方向是反的: 是负的( 该增大), 是正的( 该减小)。
第三题
新损失:
只降了 0.012。因为梯度本身不大,而 只有 0.5。
第四题
第 10 步:,,。
对比:
步数 | 这一段降了多少 | |
|---|---|---|
0 | 0.69315 | — |
1 | 0.68097 | 0.012 |
10 | 0.52600 | 0.155 |
前十步降得比第一步快得多——因为第一步之后 开始动起来,预测不再全是 0.5,梯度本身也在变大。
如果继续跑到第 2000 步, 会到 0.0617。
第五题
起点预测全是 0.5,所以残差还是 :
两个 的梯度差了近 9 倍,符号还相反。
原因很直接: 对应的是年龄,数值在 30 到 70 之间; 对应的是肿瘤大小,只有 1 到 8。梯度里乘的特征越大,结果就越大。
这意味着同一个 对 太激进、对 太保守。
第六题
步数 | 不缩放 | 标准化后 |
|---|---|---|
0 | 0.69315 | 0.69315 |
1 | 4.92110 | 0.68388 |
5 | 11.05241 | 0.64926 |
20 | 0.50877 | 0.54827 |
100 | 11.05241 | 0.34162 |
200 | 11.05241 | 0.27558 |
不缩放那一列是发散的:第一步损失就冲到 4.92(比起点高七倍),第 5 步到 11.05,之后就在 11.05 和 0.51 之间来回震荡,再也没下来过。
第 20 步那个 0.5088 是个陷阱——它只是震荡路过的一个低点,不是收敛。
标准化之后一切正常:单调下降,200 步到 0.2756。
同一个算法、同一个学习率,只因为做了缩放,一个彻底失败、一个顺利收敛。
第七题
标准化后训练出来的参数:
用它们预测 20 个样本,准确率 = 18 / 20 = 90%。
错的两例是图中重叠区域的那两个点——一个是蓝色圆点混在橙方块里,一个是反过来。
第八题
决策边界是 的解集:
这是 平面上的一条直线。
因为 单调递增且 ,所以"预测大于 0.5"等价于""——边界完全由 的正负决定, 不参与。
要让边界变成曲线,得像第 3 章那样加多项式特征(、 等)。
第九题
用 2000 步试几个 :
最终 | |
|---|---|
0.05 | 1.381(失败) |
0.02 | 0.630 |
0.01 | 0.312 |
0.005 | 0.275(和不缩放的最好结果持平) |
0.002 | 0.296 |
能用的上限大约在 0.005,比 0.05 小了十倍。
原因:稳定性要求 ,而 大致按特征尺度的平方增长。年龄的尺度是大小的大约 9 倍,平方之后就是 80 倍——所以 必须缩得比 9 倍还狠。
这正是第 3 章那个条件数问题的翻版。
一句话总结
现象 | 原因 |
|---|---|
起点损失恒等于 | 预测全 0.5,每个样本都罚 |
两个 的梯度量级不同 | 梯度里乘了特征本身,特征尺度不同 |
不缩放会发散 | 被最大的那个特征尺度卡住 |
不影响决策边界 | 边界是 ,与 无关 |
下一章
下一章解决一个更根本的问题:你凭什么相信自己训练出来的模型是好的?