XOR:一个绕不过去的例子

最简单的非线性问题

四个点:

x₁

x₂

y

0

0

0

0

1

1

1

0

1

1

1

0

规律是“两个输入不同时输出 1”。这就是异或(XOR)。

左:逻辑回归;右:加一层隐藏层

逻辑回归做不到

实测:逻辑回归在这四个点上的准确率是 0.5——和瞎猜一样。

原因很简单:它的决策边界是一条直线。而 XOR 的两个类在平面上是对角分布的, 任何一条直线都只能分对 2 个、错 2 个。

这不是“模型不够复杂”的问题

你可以加多项式特征 x1x2x_1 x_2,那确实能分开。

但这又回到了上一课的问题:加什么项是人决定的。

而且真实问题里你往往不知道该加什么——784 个像素的两两乘积有 30 万项。

加一层会怎样

现在换一个结构:

  1. 先用两组参数把输入变成两个中间值 h1,h2h_1, h_2

  2. 再用这两个中间值做逻辑回归

换句话说,不直接在 (x1,x2)(x_1, x_2) 上分类,而是先变换到一个新的空间,在那里分类。

实测:这个结构在 XOR 上的准确率是 1.0——全对。

它学到了什么

两个中间值大致相当于两条不同的直线,每条各自切一刀。

两条线组合起来,就能围出一个“斜着的区域”——XOR 正好可以被这样的区域分开。

一条线不行,两条线可以。

关键问题:这两条线怎么来的

前面说「先用两组参数把输入变成两个中间值」。这两组参数是从哪来的?

答案是:和最后的分类器一起训练出来的。

损失函数只看最后的输出对不对。中间那两个值应该是什么,模型自己找——梯度下降会自动调整它们。

这就是“学出来的特征”

前 15 章里,特征是人给的,模型只学最后的映射。

这里,中间那层表示也是学出来的。人只规定了“有几个中间值”,不规定它们是什么意思。

这就是神经网络和前面所有模型的根本区别。

这一课解决了什么

加一层中间表示,能解决线性模型解决不了的问题。而这一层的参数是训练出来的。

下一课把这个结构写成公式——你会发现它简单得出奇。