onnx

大鹏的NLP博客

深度学习模型PyTorch与ONNX数值一致性校验通用技术报告（工业级技术规范 / R&D Engineering Guideline）在深度学习模型工程化部署流程中，将 PyTorch 训练完成的模型导出为 ONNX（Open Neural Network Exchange）通用中间格式，进而开展模型量化、端侧推理适配等后续工作，是模型落地部署的标准链路。在 PyTorch 模型向 ONNX 格式转换的核心环节，框架运行模式差异、算子底层实现不一致、数据预处理逻辑拆分、浮点计算精度不统一、随机计算分支生效等诸多因素，均会引入数值计算偏差。此类偏差在深度网络中会逐步

阿钱真强道

13 YOLOv8的ONNX输出结构——9个张量如何变成检测框一句话总结：YOLOv8 导出为 ONNX 后，输出 9 个张量——3 个检测头 × 3 个分支（box、cls、DFL）。每个张量是一个 4 维数组，6400+1600+400 个网格各装一个"信息包"，解码后得到框坐标和类别置信度。

神经网络模型导出及开放标准格式ONNX本文在上一篇文章的基础上，继续深入的分析模型格式及导出，重点分析PyTorch导出格式pt及开放标准格式ONNX。

再一次等风来

YOLO26 实测记录：从模型下载、预测验证到 ONNX Runtime 推理部署本文记录一次 YOLO26 模型的完整测试流程，主要包括环境验证、官方模型下载、测试模型预测、自定义数据集训练、模型导出为 ONNX、.pt 与 .onnx 推理结果对比，以及使用 ONNX Runtime 手动验证导出的 ONNX 模型。

慢慢向上的蜗牛

Qwen3-0.6B ONNX（KV-Cache）模型部署本项目演示 Qwen3-0.6B ONNX 模型通过 onnxruntime 加载并进行自回归推理的完整实现。

指尖在键盘上舞动

RKNN 模型部署：onnx转rknn后精度下降 —— 精度调优与问题排查问题：pytorch->onnx(sim)->rknn转换，rknn跑在RK3588 Ubuntu Arm Npu架构上，精度断崖式下降，20%~30%甚至更大。

PaddleDetection转ONNX 填坑Git PaddleDetection 版本为最新2.9教程地址 https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.9/deploy/EXPORT_ONNX_MODEL.md PP-YOLOE OP11 = py3.11 仅支持batch=1推理；模型导出需固定shape

字幕视频合成音频 + 背景图 + 字幕合成硬/软字幕 MP4 视频。基于 Eclipse RCP 技术框架开发,企业级应用的技术。核心组件

语音识别 (ASR)集成 Paraformer 模型，WAV 音频精准转写为带标点文本。基于 Eclipse RCP 技术框架开发,企业级应用的技术。核心组件

java调用yolo26n.onnx模型输出图像推理检测是通过ultralytics-yolo的源码将yolo26n.pt的模型转换成onnx格式，将pt格式的模型转换成onnx，ONNX Runtime 支持各种平台，例如 Windows、macOS 和 Linux，可以使用 ONNX Runtime 运行，java貌似支持。ONNX Runtime 可以提供高达 3 倍的 CPU 加速。

模型部署优化：ONNX与TensorRT实战——从训练到推理的完整优化链路深度学习模型从实验室到生产环境的部署过程中，推理性能往往是最大的瓶颈。本文系统讲解ONNX（Open Neural Network Exchange）和TensorRT两大核心工具，详细介绍模型转换、推理优化、量化压缩、结构剪枝等关键技术。通过ResNet图像分类模型的完整实战案例，演示如何将模型推理速度提升5-10倍，同时保持精度损失在可接受范围内。读者将掌握模型部署优化的完整方法论，能够在实际项目中实现高效、低成本的模型推理服务。

Techblog of HaoWANG

目标检测与跟踪（10）-- Jetson Xavier NX刷机、移植&部署YOLOv8量化模型（中）Run CMD Task:[dpkg --print-architecture] [-][0.01s] CMD Result:success

weixin_46846685

PyTorch导出ONNX格式分割模型及在C#中调用预测ONNX（Open Neural Network Exchange）是一种开放的神经网络交换格式，旨在促进不同深度学习框架之间的互操作性。它使用protobuf二进制格式来序列化模型，从而提供更好的传输性能。

从零实现一个生产级 RAG 语义搜索系统：C++ + ONNX + FAISS 实战既然是“从零实现”，本文暂不深入探讨繁复的理论背景，而是先聚焦一个核心问题：语义化搜索中的“语义化”到底是什么意思？

ultralytics.utils.export——engine.py、imx.py、tensorflow.py各模型导出子模块代码详读这个export模块实现了Ultralytics YOLO项目的模型多种不同格式导出功能，主要包含：engine.py：核心格式转换引擎

告别环境崩溃：ONNX 与 Protobuf 版本兼容性指南https://pypi.org/project/onnx/https://onnx.ai/https://github.com/onnx/onnx

深色風信子

SpringAi 加载 ONNX Embedding

VS2022+QT6.9配置ONNXruntime GPU、CUDA、cuDNN（附官网下载链接）（GPU开启代码示例）本次教程就以本人电脑的RX2060举例，选择对应版本的ONNXruntime、CUDA、cuDNN，下面是具体版本和QT代码的开启GPU运行效果

Techblog of HaoWANG

目标检测与跟踪（7）- YOLOv8 ONNX量化模型部署指南本文以YOLOv8模型从训练到ONNX量化部署的完整流程为主线。主要内容包括：1）环境准备与模型导出为ONNX格式；2）ONNX模型的FP16/INT8量化方法；3）使用ONNXRuntime和TensorRT的部署实现；4）性能优化策略如IO绑定和批处理；5）完整的部署脚本和注意事项。该方案支持静态和动态输入尺寸，提供多种量化精度选择，并包含基准测试功能，适用于边缘计算和嵌入式设备部署场景。

Unity使用sherpa-onnx实现关键词检测效果图https://github.com/xue-fei/sherpa-onnx-unity