一个神经元就是一个逻辑回归

公式

第 4 章的逻辑回归:

y^=σ(w⊤x+b)\hat{y} = \sigma(w^{\top}x + b)

一个神经元:

h=f(w⊤x+b)h = f(w^{\top}x + b)

一模一样。唯一的区别是 ff 不一定是 sigmoid。

这句话值得停一下

一个神经元就是“加权求和 + 一个非线性函数”。你在第 4 章已经学过它的全部内容。

神经网络的新东西不在单个神经元,在怎么把它们连起来。

激活函数

ff 叫激活函数。几个常见的:

名称

公式

特点

sigmoid

1/(1+e⁻ᶻ)

输出 0-1,但深处梯度消失

tanh

(eᶻ−e⁻ᶻ)/(eᶻ+e⁻ᶻ)

输出 −1 到 1,同样会消失

ReLU

max(0, z)

正区间梯度恒为 1,现在默认用它

为什么 ReLU 成了默认

sigmoid 在输入很大或很小时导数接近 0。层数一多,梯度乘着乘着就消失了——这就是 梯度消失。

ReLU 在正区间导数是常数 1,梯度不会衰减。而且计算极快(一次比较)。

为什么必须有非线性

假设没有激活函数,或者用线性的 f(z)=zf(z) = z:

h=W1x+b1h = W_1 x + b_1
y^=W2h+b2=W2(W1x+b1)+b2=(W2W1)x+(W2b1+b2)\hat{y} = W_2 h + b_2 = W_2(W_1 x + b_1) + b_2 = (W_2 W_1)x + (W_2 b_1 + b_2)

看最后一行:它还是 W′x+b′W' x + b' 的形式——一个线性模型。

堆多少层都白搭

线性函数的复合还是线性的。一百层线性层,等价于一层。

非线性激活是深度的全部意义所在。没有它,神经网络退化成逻辑回归。

一层怎么变成多条线

回到上一课的 XOR。中间层有 2 个神经元,就是 2 个逻辑回归,各自在平面上画一条线。

最后输出层再对这两个中间值做一次加权组合——相当于“这两条线围出的区域里才算正类”。

层

做什么

输出维度

输入

原始特征

2

隐藏层

2 个神经元,各画一条线

2

输出层

组合这两条线的结果

1

推广到多层

每多一层,就能在前一层“线”的基础上再组合出更复杂的形状。

2 层能画出多边形区域,3 层能画曲线边界,更多层能逼近任意形状。

这就是“深度”的含义:一层一层地把简单形状组合成复杂形状。

这一课解决了什么

神经元 = 逻辑回归 + 可换的激活函数。深度靠非线性才有意义。

下一课把“层”堆起来,看看这个结构能表示什么——以及它为什么在图像、语音上碾压前面的模型。