一个神经元就是一个逻辑回归
公式
第 4 章的逻辑回归:
一个神经元:
一模一样。唯一的区别是 不一定是 sigmoid。
这句话值得停一下
一个神经元就是“加权求和 + 一个非线性函数”。你在第 4 章已经学过它的全部内容。
神经网络的新东西不在单个神经元,在怎么把它们连起来。
激活函数
叫激活函数。几个常见的:
名称 | 公式 | 特点 |
|---|---|---|
sigmoid | 1/(1+e⁻ᶻ) | 输出 0-1,但深处梯度消失 |
tanh | (eᶻ−e⁻ᶻ)/(eᶻ+e⁻ᶻ) | 输出 −1 到 1,同样会消失 |
ReLU | max(0, z) | 正区间梯度恒为 1,现在默认用它 |
为什么 ReLU 成了默认
sigmoid 在输入很大或很小时导数接近 0。层数一多,梯度乘着乘着就消失了——这就是 梯度消失。
ReLU 在正区间导数是常数 1,梯度不会衰减。而且计算极快(一次比较)。
为什么必须有非线性
假设没有激活函数,或者用线性的 :
看最后一行:它还是 的形式——一个线性模型。
堆多少层都白搭
线性函数的复合还是线性的。一百层线性层,等价于一层。
非线性激活是深度的全部意义所在。没有它,神经网络退化成逻辑回归。
一层怎么变成多条线
回到上一课的 XOR。中间层有 2 个神经元,就是 2 个逻辑回归,各自在平面上画一条线。
最后输出层再对这两个中间值做一次加权组合——相当于“这两条线围出的区域里才算正类”。
层 | 做什么 | 输出维度 |
|---|---|---|
输入 | 原始特征 | 2 |
隐藏层 | 2 个神经元,各画一条线 | 2 |
输出层 | 组合这两条线的结果 | 1 |
推广到多层
每多一层,就能在前一层“线”的基础上再组合出更复杂的形状。
2 层能画出多边形区域,3 层能画曲线边界,更多层能逼近任意形状。
这就是“深度”的含义:一层一层地把简单形状组合成复杂形状。
这一课解决了什么
神经元 = 逻辑回归 + 可换的激活函数。深度靠非线性才有意义。
下一课把“层”堆起来,看看这个结构能表示什么——以及它为什么在图像、语音上碾压前面的模型。