导出:ONNX 与 CPU 推理

训练出来的 .pth 有个问题:它只能被 PyTorch 读, 而且通常需要和训练时同样的设备。

要放到服务器上、给别人的程序调用、或者在没有 GPU 的机器上跑,就得换格式。

先解决设备问题

在 GPU 上训的模型,直接 torch.load 到没显卡的机器会报错。

# ✗ 在 CPU 机器上跑会崩 ckpt = torch.load("model.pth") # ✓ 强制读到 CPU ckpt = torch.load("model.pth", map_location="cpu")

完整流程:

ckpt = torch.load(cfg.load_path, map_location="cpu") state = ckpt.get("model_state_dict") if state is None: raise ValueError("checkpoint 里没有 model_state_dict,检查 key 名称") model = get_model(cfg.model_name)(cfg) model.load_state_dict(state) model = model.cpu() # 确保所有参数都在 CPU model.eval() # 关掉 Dropout,固定 BN

eval() 不能忘

忘了它,Dropout 还在随机丢神经元,同样输入两次结果不一样。

推理前一定要 model.eval()。

ONNX 是什么

设备问题解决了,格式问题还在。

一种与框架无关的模型格式。PyTorch 导出成 ONNX 之后, C++、Java、C#、浏览器都能加载,不需要装 PyTorch。

.pth

.onnx

能被谁读

只有 PyTorch

几乎所有语言

需要 PyTorch

要

不要

体积

含优化器状态时很大

只含计算图,小

能继续训练

能

不能

导出

一条命令。三处参数要写对。

import torch model.eval() # 造一个假输入,形状必须和真实推理时一致 dummy = torch.randint(0, 7000, (1, 50)) # (batch, seq_len) # 多输入的模型给一个元组 # dummy = (torch.randint(0, 7000, (1, 50)), torch.randint(0, 7000, (1, 50))) torch.onnx.export( model, dummy, "model.onnx", input_names=["input"], output_names=["logits"], dynamic_axes={ "input": {0: "batch", 1: "seq_len"}, # 第 0、1 维可变 "logits": {0: "batch"}, }, opset_version=17, )

参数

作用

dummy

走一遍前向,用来追踪计算图。形状要真实

dynamic_axes

把某些维标成可变,否则导出后写死成 dummy 的形状

opset_version

ONNX 算子集版本,17 比较通用

忘了 dynamic_axes 的后果

dummy 用 (1, 50) 导出,之后传 (32, 50) 会报 Got invalid dimensions for input。

因为 batch 维被写死成 1 了。凡是推理时可能变的维度都要标成 dynamic。

验证导出对不对

导出不会报错,但可能导错。必须比一次输出。

导出完必须对比一次输出,不能假设它一定对:

import numpy as np import onnxruntime as ort # PyTorch 的输出 with torch.no_grad(): torch_out = model(dummy).numpy() # ONNX 的输出 sess = ort.InferenceSession("model.onnx") onnx_out = sess.run(None, {"input": dummy.numpy()})[0] print("最大差异:", np.abs(torch_out - onnx_out).max()) # 应该 < 1e-4

差异在 1e-4 以内算正常(浮点误差)。差很多说明导出有问题。

用 ONNX 推理

文件验证过了,看怎么用它。

import onnxruntime as ort import numpy as np sess = ort.InferenceSession("model.onnx", providers=["CPUExecutionProvider"]) x = np.random.randint(0, 7000, (4, 50)).astype(np.int64) out = sess.run(None, {"input": x})[0] print(out.shape) # (4, 50, 7000) print(out.argmax(-1)) # 每个位置预测的词

不需要 PyTorch 就能跑。服务器上只装 onnxruntime(约 15 MB)就够。

没有 ONNX 也能导出

方式

适合

torch.save(state_dict)

自己用,还要继续训练

torch.jit.trace

PyTorch 内部署,不换语言

torch.onnx.export

跨语言、跨平台

torch.compile

加速推理,不换格式

一个最小的推理脚本

把上面两种方式包成同一个接口,调用方就不用关心底下是什么。

部署时最常写的东西,二十行:

import torch, onnxruntime as ort, numpy as np class Predictor: def __init__(self, path, use_onnx=False): self.use_onnx = use_onnx if use_onnx: self.sess = ort.InferenceSession(path, providers=["CPUExecutionProvider"]) else: ckpt = torch.load(path, map_location="cpu") self.model = build_model(ckpt["cfg"]).cpu().eval() self.model.load_state_dict(ckpt["model_state_dict"]) @torch.no_grad() def __call__(self, x): x = np.asarray(x, dtype=np.int64) if self.use_onnx: return self.sess.run(None, {"input": x})[0] return self.model(torch.from_numpy(x)).numpy()

调用方只看到 predictor(x),不用关心底下是 PyTorch 还是 ONNX。

下一课

工程化这一章到这里。下一课是习题——把你前面写的单文件训练脚本,按这一章的结构拆开。