Python模型保存为ONNX格式_跨平台推理部署与加速技巧

torch.onnx.export 导出失败主因是模型含动态结构或 ONNX 不支持算子；需用 eval() 和 no_grad()、正确配置 dynamic_axes、替换不支持操作并验证 shape/数值一致性。torch.onnx.export 为什么导出失败：常见报错和绕过方法导出失败大多卡在模型动态结构或不支持的算子上，不是代码写错了，而是 PyTorch 和 ONNX 的语义对不上。RuntimeError: Exporting the operator xxx to ONNX opset version xxx is not supported：说明用了 ONNX 不认的自定义/高阶操作（比如 torch.einsum、torch.scatter_reduce），优先替换成等价的 torch.matmul + torch.sum 或改用 opset_version=18（需 torch ≥ 2.1）TypeError: forward() missing 1 required positional argument：传给 torch.onnx.export 的 args 必须是 tuple，哪怕只有一个输入也要写成 (x,)，不是 x模型里有 if x.shape0 > 1: 这类依赖 tensor shape 的控制流？ONNX 静态图无法表达，得提前用 torch.jit.trace 或重写为 torch.whereexport 时要不要用 torch.no_grad() 和 eval()？要，而且必须显式调用，否则训练态的 dropout/batchnorm 会被导出，导致推理结果不一致甚至崩溃。model.eval() 关闭所有可训练层的特殊行为（比如 BN 使用 running stats 而非 batch stats）torch.no_grad() 不仅省显存，还能防止某些 autograd-only 算子（如 torch.autograd.grad）意外混入计算图顺序很重要：先 model.eval()，再进 torch.no_grad() 块，最后调用 torch.onnx.exportinput_names / output_names 和 dynamic_axes 怎么配才不出错名字本身不影响推理，但 dynamic_axes 是 ONNX Runtime 加载时做 shape 推导的关键，配错会导致运行时报 InvalidArgument。input_names='input' 和 output_names='output' 只是符号名，和后续推理代码里的 binding 名字要对上，但不强制一致dynamic_axes={'input': {0: 'batch', 2: 'height'}, 'output': {0: 'batch'}}：键必须是 input/output 名，值 dict 的 key 是维度索引（从 0 开始），value 是该维度的逻辑名；同一个逻辑名（如 'batch'）在多个 tensor 间共享，才能被 ONNX Runtime 正确绑定如果某维固定为 1（如 NLP 的 seq_len=512），就别放进 dynamic_axes，否则 ONNX Runtime 会认为它可变，反而限制部署灵活性导出后怎么快速验证 ONNX 模型能跑通别急着扔进生产环境，先用 ONNX Runtime 做最小闭环验证，重点看输出 shape 和数值是否合理。 稿定AI 拥有线稿上色优化、图片重绘、人物姿势检测、涂鸦完善等功能