习题

题目

第一题 XOR 问题,逻辑回归准确率 0.5。加一层含 2 个神经元的隐藏层后到 1.0。这 2 个神经元各自在做什么?

第二题 如果所有隐藏层都用线性激活 f(z)=zf(z) = z,一个 10 层的网络等价于几层?证明。

第三题 为什么 ReLU 比 sigmoid 更适合深层网络?

第四题 一个网络有 3 层,每层 100 个神经元,输入 100 维。第一层有多少参数?

第五题 为什么说“表格数据上 GBDT 仍然比神经网络强”?给两个理由。

第四题记得加偏置 b。

第五题从“数据量”和“特征性质”两个角度想。


答案

第一题

每个神经元是一个逻辑回归,在平面上画一条直线。

两个神经元 = 两条直线。它们各自把平面切一刀,合起来把平面分成 4 块。

输出层再对这两个结果加权组合——相当于说“落在某个斜向区域里才算正类”。 XOR 的两个正样本正好在对角,可以被这样的区域圈住。

一条直线分不开,两条组合起来就能分开。

第二题

等价于 1 层。

设每层 hk=Wkhk−1+bkh_k = W_k h_{k-1} + b_k,展开:

h10=W10(W9(⋯(W1x+b1)⋯ )+b9)+b10h_{10} = W_{10}(W_9(\cdots(W_1 x + b_1)\cdots) + b_9) + b_{10}

展开后:

h10=(W10W9⋯W1)x+b′h_{10} = (W_{10}W_9\cdots W_1)x + b'

括号里的矩阵乘起来还是一个矩阵,b′b' 还是一个向量。

所以整个网络等价于 W′x+b′W' x + b'——一个线性变换。

这就是为什么必须有非线性

没有激活函数,深度完全没有意义。层数再多也是一个线性模型。

而且这个结论还有个实际含义:一个 10 层线性网络的可表达能力,和逻辑回归完全一样, 但参数量多了几十倍——纯粹浪费。

第三题

核心是梯度。

sigmoid 的导数最大只有 0.25,而且输入绝对值一大就趋近 0。

反向传播时,梯度要逐层相乘。10 层每层乘一个 ≤0.25 的数,0.25¹⁰ ≈ 10⁻⁶—— 前面几层几乎收不到任何梯度信号,等于不训练。

ReLU 在正区间导数是 1,连乘也不会衰减。

ReLU 也有问题

负区间导数是 0,梯度直接断掉。如果某个神经元对所有输入都输出 0,它就再也活不过来了 (这叫 dying ReLU)。

改进版 LeakyReLU 在负区间给一个很小的斜率(如 0.01),避免完全死掉。

第四题

第一层的每个神经元要接收 100 个输入,所以权重是 100 个,再加 1 个偏置 = 101。

100 个神经元:

100×101=10100100 \times 101 = 10100

10100 个参数,只算第一层。

三层全算:

  • 第一层:100×101 = 10,100

  • 第二层:100×101 = 10,100

  • 第三层:如果输出 1 个值,101

总共约 20,301 个参数。

这就是“参数爆炸”

一个很小的网络(3 层、每层 100)就有 2 万参数。

如果输入是 784 维的图片、第一层 1000 个神经元,第一层就有 785,000 个参数。

这就是为什么图像任务必须用卷积——它靠参数共享把这个数字降几个数量级。

第五题

理由一:数据量。

神经网络参数多,需要大量数据才能训好。表格数据通常几千到几万行,这个规模下网络很容易过拟合, 而 GBDT 的参数效率高得多。

理由二:特征的性质。

表格数据的每一列往往有明确含义(年龄、收入、类别),而且经常是异构的—— 有的连续、有的类别、有的稀疏。

GBDT 天然处理这种混合:树只需要比较大小,不用假设特征之间有什么关系。 神经网络则要求把所有特征拼成一个向量,还要仔细设计编码方式。

还有第三个理由

调参成本。随机森林基本开箱即用;神经网络要调学习率、层数、宽度、初始化、 正则化、批大小……在表格数据这种“收益本来就有限”的场景,投入产出比不划算。

但要注意:这不是“神经网络不行”,是“在这个数据规模下不划算”。 数据量上到百万行,结论可能会变。

机器学习总结

章节

核心问题

答案

1-4

怎么从数据学规律

定义损失,梯度下降

5-7

怎么知道学对了

划分数据、交叉验证、偏差方差

8-9

多分类和评估

softmax、混淆矩阵、AUC

10-11

非线性关系

树、集成

12

另一种非线性

核方法

13-14

没有标签

聚类、降维

15

怎么可靠地串起来

特征工程、Pipeline

16

为什么还要更深

特征要学出来,不要人给

下一课

conda:CPU 还是 GPU