前言

sumi=1ni\\sum_{i=1}^{n} i

深度学习

一句话

把「设计特征」这件事也交给机器。

机器学习的所有方法都有一个共同点:特征是人设计的。 预测房价,你得先想好「用面积、地段、房龄这三项」,模型才能干活。

深度学习不问这个:原始数据直接喂进去,中间那些特征由网络自己长出来。

一个心智模型

还是判断房价。区别在于「喂什么进去」。

喂进去的

谁设计特征

机器学习

[面积, 地段分, 房龄]

人——你先算好再喂

深度学习

房子的照片,或者几百个原始指标

网络——它自己决定看什么

一层网络学出「边缘」,两层学出「窗户和门」, 三层学出「这是个厨房」—— 没有人告诉它要这样分层,是训练出来的。

这也是它的代价

特征是人设计的时候,你知道模型在看什么。 说「面积系数是 3.2」,业务方能听懂。

神经网络学出来的中间表示,没人能直接读。

所以它换来了能力,也换走了可解释性。

它是什么

机器学习的一个分支:用很多层可微的函数堆起来,靠反向传播训练。

「深」指的是层的数量。一层就是机器学习的逻辑回归, 堆几十层之后能做的事完全不同了。

能干什么

能做

典型场景

看懂图像

识别、检测、分割、人脸

处理序列

语音转文字、机器翻译、文本分类

生成内容

写文章、画图、写代码

从原始数据直接端到端

从像素到「有没有缺陷」,中间不用人工插手

不能干什么

做不到

为什么

小数据也能训

参数动辄几百万。样本太少时,它会把训练集背下来, 换个数据就崩

解释自己的判断

中间那几百万个数,没人能翻译成人话

保证不出错

它给的是概率最高的答案,不是正确答案。 而且错的时候往往错得很自信

不受训练数据偏见影响

数据里有偏见,它就学走偏见,还会放大

它和机器学习什么关系

三层包含,从外到里:

层

和上一层的关系

人工智能

最外层。包括不学习的方法:搜索、规划、专家系统

机器学习

人工智能里靠数据学的那一支。 和深度学习是包含关系,不是并列关系

深度学习

机器学习里用多层网络的那一支

一个常见误解

很多人把「机器学习」和「深度学习」当成两门并列的课。

不是。深度学习是机器学习的一个子集, 所以机器学习学的损失函数、梯度下降、过拟合、评估指标, 深度学习一条都躲不掉。

跳过机器学习直接学深度学习,会在第 24 章「训练的艺术」那里卡死。

发展历史

年代

发生了什么

影响

1986

反向传播推广开

多层网络能训了,但算力和数据都不够

1990s–2000s

被 SVM 等方法压下去

「神经网络训不动深层」成为共识

2012

AlexNet 拿下 ImageNet

ReLU + GPU + 大数据,一举翻盘

2015

ResNet 把网络堆到 152 层

残差连接解决了深层训不动

2017

Transformer

今天所有大模型的骨架

2022 起

大语言模型进入日常

参数从百万级到千亿级

2012 年那次翻盘,不是理论突破—— 反向传播 1986 年就有了。 变的是三样东西同时到位:GPU 算力、ImageNet 级别的大数据、ReLU 让深层能训。

今天用在哪

方向

现在长什么样

大语言模型

只留解码器的 Transformer,用海量文本训「预测下一个词」

图像

把图片切成小块当序列,用同一套 Transformer(ViT)

语音

音频切片段,编码器-解码器

工业

质检、缺陷检测——这类任务数据少,常用小模型 + 迁移学习

需要什么

必须有的

需要

到什么程度

机器学习

损失函数、梯度下降、过拟合、训练/验证/测试划分。 这些深度学习全都在用

Python

类、装饰器看得懂,能读别人的代码

矩阵乘法

知道 (2×3)⋅(3×4)=(2×4)(2\times3) \cdot (3\times4) = (2\times4) 就够。不需要特征值、SVD

需要装的

要什么

说明

Python 3.10+

第 17 章给完整步骤

PyTorch

CPU 版就能跑完前面大部分章节

显卡

没有也能学。有的话训练从几分钟变几秒

这一块的走法

22 章,五段:

段

章

讲什么

工具

17–20

装环境、张量、自动求导、数据管道

神经网络基础

21–25

全连接层、第一个网络、反向传播、训练、工程化

卷积

26–32

为什么卷积、LeNet、AlexNet/VGG、NiN、ResNet、迁移学习

循环

33–35

RNN、LSTM/GRU、Seq2Seq

注意力

36–38

注意力、Transformer、今天的架构

整段有一条主线:同一个中英翻译任务。 从 Seq2Seq 到注意力到 Transformer,你会看到同一个任务上不同架构差多少。