前言
深度学习
一句话
把「设计特征」这件事也交给机器。
机器学习的所有方法都有一个共同点:特征是人设计的。 预测房价,你得先想好「用面积、地段、房龄这三项」,模型才能干活。
深度学习不问这个:原始数据直接喂进去,中间那些特征由网络自己长出来。
一个心智模型
还是判断房价。区别在于「喂什么进去」。
喂进去的 | 谁设计特征 | |
|---|---|---|
机器学习 |
| 人——你先算好再喂 |
深度学习 | 房子的照片,或者几百个原始指标 | 网络——它自己决定看什么 |
一层网络学出「边缘」,两层学出「窗户和门」, 三层学出「这是个厨房」—— 没有人告诉它要这样分层,是训练出来的。
这也是它的代价
特征是人设计的时候,你知道模型在看什么。 说「面积系数是 3.2」,业务方能听懂。
神经网络学出来的中间表示,没人能直接读。
所以它换来了能力,也换走了可解释性。
它是什么
机器学习的一个分支:用很多层可微的函数堆起来,靠反向传播训练。
「深」指的是层的数量。一层就是机器学习的逻辑回归, 堆几十层之后能做的事完全不同了。
能干什么
能做 | 典型场景 |
|---|---|
看懂图像 | 识别、检测、分割、人脸 |
处理序列 | 语音转文字、机器翻译、文本分类 |
生成内容 | 写文章、画图、写代码 |
从原始数据直接端到端 | 从像素到「有没有缺陷」,中间不用人工插手 |
不能干什么
做不到 | 为什么 |
|---|---|
小数据也能训 | 参数动辄几百万。样本太少时,它会把训练集背下来, 换个数据就崩 |
解释自己的判断 | 中间那几百万个数,没人能翻译成人话 |
保证不出错 | 它给的是概率最高的答案,不是正确答案。 而且错的时候往往错得很自信 |
不受训练数据偏见影响 | 数据里有偏见,它就学走偏见,还会放大 |
它和机器学习什么关系
三层包含,从外到里:
层 | 和上一层的关系 |
|---|---|
人工智能 | 最外层。包括不学习的方法:搜索、规划、专家系统 |
机器学习 | 人工智能里靠数据学的那一支。 和深度学习是包含关系,不是并列关系 |
深度学习 | 机器学习里用多层网络的那一支 |
一个常见误解
很多人把「机器学习」和「深度学习」当成两门并列的课。
不是。深度学习是机器学习的一个子集, 所以机器学习学的损失函数、梯度下降、过拟合、评估指标, 深度学习一条都躲不掉。
跳过机器学习直接学深度学习,会在第 24 章「训练的艺术」那里卡死。
发展历史
年代 | 发生了什么 | 影响 |
|---|---|---|
1986 | 反向传播推广开 | 多层网络能训了,但算力和数据都不够 |
1990s–2000s | 被 SVM 等方法压下去 | 「神经网络训不动深层」成为共识 |
2012 | AlexNet 拿下 ImageNet | ReLU + GPU + 大数据,一举翻盘 |
2015 | ResNet 把网络堆到 152 层 | 残差连接解决了深层训不动 |
2017 | Transformer | 今天所有大模型的骨架 |
2022 起 | 大语言模型进入日常 | 参数从百万级到千亿级 |
2012 年那次翻盘,不是理论突破—— 反向传播 1986 年就有了。 变的是三样东西同时到位:GPU 算力、ImageNet 级别的大数据、ReLU 让深层能训。
今天用在哪
方向 | 现在长什么样 |
|---|---|
大语言模型 | 只留解码器的 Transformer,用海量文本训「预测下一个词」 |
图像 | 把图片切成小块当序列,用同一套 Transformer(ViT) |
语音 | 音频切片段,编码器-解码器 |
工业 | 质检、缺陷检测——这类任务数据少,常用小模型 + 迁移学习 |
需要什么
必须有的
需要 | 到什么程度 |
|---|---|
机器学习 | 损失函数、梯度下降、过拟合、训练/验证/测试划分。 这些深度学习全都在用 |
Python | 类、装饰器看得懂,能读别人的代码 |
矩阵乘法 | 知道 就够。不需要特征值、SVD |
需要装的
要什么 | 说明 |
|---|---|
Python 3.10+ | 第 17 章给完整步骤 |
PyTorch | CPU 版就能跑完前面大部分章节 |
显卡 | 没有也能学。有的话训练从几分钟变几秒 |
这一块的走法
22 章,五段:
段 | 章 | 讲什么 |
|---|---|---|
工具 | 17–20 | 装环境、张量、自动求导、数据管道 |
神经网络基础 | 21–25 | 全连接层、第一个网络、反向传播、训练、工程化 |
卷积 | 26–32 | 为什么卷积、LeNet、AlexNet/VGG、NiN、ResNet、迁移学习 |
循环 | 33–35 | RNN、LSTM/GRU、Seq2Seq |
注意力 | 36–38 | 注意力、Transformer、今天的架构 |
整段有一条主线:同一个中英翻译任务。 从 Seq2Seq 到注意力到 Transformer,你会看到同一个任务上不同架构差多少。