习题
题目
第一题 XOR 问题,逻辑回归准确率 0.5。加一层含 2 个神经元的隐藏层后到 1.0。这 2 个神经元各自在做什么?
第二题 如果所有隐藏层都用线性激活 ,一个 10 层的网络等价于几层?证明。
第三题 为什么 ReLU 比 sigmoid 更适合深层网络?
第四题 一个网络有 3 层,每层 100 个神经元,输入 100 维。第一层有多少参数?
第五题 为什么说“表格数据上 GBDT 仍然比神经网络强”?给两个理由。
第四题记得加偏置 b。
第五题从“数据量”和“特征性质”两个角度想。
答案
第一题
每个神经元是一个逻辑回归,在平面上画一条直线。
两个神经元 = 两条直线。它们各自把平面切一刀,合起来把平面分成 4 块。
输出层再对这两个结果加权组合——相当于说“落在某个斜向区域里才算正类”。 XOR 的两个正样本正好在对角,可以被这样的区域圈住。
一条直线分不开,两条组合起来就能分开。
第二题
等价于 1 层。
设每层 ,展开:
展开后:
括号里的矩阵乘起来还是一个矩阵, 还是一个向量。
所以整个网络等价于 ——一个线性变换。
这就是为什么必须有非线性
没有激活函数,深度完全没有意义。层数再多也是一个线性模型。
而且这个结论还有个实际含义:一个 10 层线性网络的可表达能力,和逻辑回归完全一样, 但参数量多了几十倍——纯粹浪费。
第三题
核心是梯度。
sigmoid 的导数最大只有 0.25,而且输入绝对值一大就趋近 0。
反向传播时,梯度要逐层相乘。10 层每层乘一个 ≤0.25 的数,0.25¹⁰ ≈ 10⁻⁶—— 前面几层几乎收不到任何梯度信号,等于不训练。
ReLU 在正区间导数是 1,连乘也不会衰减。
ReLU 也有问题
负区间导数是 0,梯度直接断掉。如果某个神经元对所有输入都输出 0,它就再也活不过来了 (这叫 dying ReLU)。
改进版 LeakyReLU 在负区间给一个很小的斜率(如 0.01),避免完全死掉。
第四题
第一层的每个神经元要接收 100 个输入,所以权重是 100 个,再加 1 个偏置 = 101。
100 个神经元:
10100 个参数,只算第一层。
三层全算:
第一层:100×101 = 10,100
第二层:100×101 = 10,100
第三层:如果输出 1 个值,101
总共约 20,301 个参数。
这就是“参数爆炸”
一个很小的网络(3 层、每层 100)就有 2 万参数。
如果输入是 784 维的图片、第一层 1000 个神经元,第一层就有 785,000 个参数。
这就是为什么图像任务必须用卷积——它靠参数共享把这个数字降几个数量级。
第五题
理由一:数据量。
神经网络参数多,需要大量数据才能训好。表格数据通常几千到几万行,这个规模下网络很容易过拟合, 而 GBDT 的参数效率高得多。
理由二:特征的性质。
表格数据的每一列往往有明确含义(年龄、收入、类别),而且经常是异构的—— 有的连续、有的类别、有的稀疏。
GBDT 天然处理这种混合:树只需要比较大小,不用假设特征之间有什么关系。 神经网络则要求把所有特征拼成一个向量,还要仔细设计编码方式。
还有第三个理由
调参成本。随机森林基本开箱即用;神经网络要调学习率、层数、宽度、初始化、 正则化、批大小……在表格数据这种“收益本来就有限”的场景,投入产出比不划算。
但要注意:这不是“神经网络不行”,是“在这个数据规模下不划算”。 数据量上到百万行,结论可能会变。
机器学习总结
章节 | 核心问题 | 答案 |
|---|---|---|
1-4 | 怎么从数据学规律 | 定义损失,梯度下降 |
5-7 | 怎么知道学对了 | 划分数据、交叉验证、偏差方差 |
8-9 | 多分类和评估 | softmax、混淆矩阵、AUC |
10-11 | 非线性关系 | 树、集成 |
12 | 另一种非线性 | 核方法 |
13-14 | 没有标签 | 聚类、降维 |
15 | 怎么可靠地串起来 | 特征工程、Pipeline |
16 | 为什么还要更深 | 特征要学出来,不要人给 |
下一课
conda:CPU 还是 GPU