onnx

告别环境崩溃：ONNX 与 Protobuf 版本兼容性指南https://pypi.org/project/onnx/https://onnx.ai/https://github.com/onnx/onnx

深色風信子

SpringAi 加载 ONNX Embedding

VS2022+QT6.9配置ONNXruntime GPU、CUDA、cuDNN（附官网下载链接）（GPU开启代码示例）本次教程就以本人电脑的RX2060举例，选择对应版本的ONNXruntime、CUDA、cuDNN，下面是具体版本和QT代码的开启GPU运行效果

Techblog of HaoWANG

目标检测与跟踪（7）- YOLOv8 ONNX量化模型部署指南本文以YOLOv8模型从训练到ONNX量化部署的完整流程为主线。主要内容包括：1）环境准备与模型导出为ONNX格式；2）ONNX模型的FP16/INT8量化方法；3）使用ONNXRuntime和TensorRT的部署实现；4）性能优化策略如IO绑定和批处理；5）完整的部署脚本和注意事项。该方案支持静态和动态输入尺寸，提供多种量化精度选择，并包含基准测试功能，适用于边缘计算和嵌入式设备部署场景。

Unity使用sherpa-onnx实现关键词检测效果图https://github.com/xue-fei/sherpa-onnx-unity

ONNX量化During quantization, the floating point values are mapped to an 8 bit quantization space of the form: val_fp32 = scale * (val_quantized - zero_point)

【神经风格迁移：性能】23、边缘艺术革命：树莓派+ONNX实现本地神经风格迁移，单张＜2秒神经风格迁移技术长期以来因计算资源需求高而被限制在云端或高性能GPU上运行。本文将突破这一限制，详细介绍如何在仅售35美元的树莓派上实现实时神经风格迁移。通过ONNX Runtime Tiny优化、INT8量化技术和ARM NEON指令集加速，我们成功将推理时间压缩至2秒以内，同时支持摄像头实时风格迁移。本文不仅提供完整的部署方案，还深入探讨了在资源受限环境下性能与质量的权衡艺术。

ONNX Runtime Python 推理性能优化：8 个低延迟工程实践在深度学习落地过程中，有一个常见的误区：一旦推理速度不达标，大家的第一反应往往是拿着模型开到，比如：做剪枝、搞蒸馏、甚至牺牲精度换小模型。

40_Spring AI 干货笔记之 Transformers (ONNX) 嵌入TransformersEmbeddingModel 是一个 EmbeddingModel 实现，它使用选定的句子转换器在本地计算句子嵌入。

底层视觉及图像增强-项目实践理论补充（十六-0-（26）：Onnx---》底层视觉及图像增强）：从奥运大屏到手机小屏，快来挖一挖里面都有什么代码仓库入口：系列文章规划：巨人的肩膀：数学原理： ONNX（Open Neural Network Exchange）的本质是将神经网络表示为有向无环图(DAG)，ONNX是一个开放的格式，用于表示深度学习模型，它允许模型在不同的框架之间进行转换和共享。其中：

ManySpeech.MoonshineAsr 使用指南ManySpeech.MoonshineAsr 是 ManySpeech 语音处理套件中一个专门用于moonshine 模型推理的语音识别组件，其使用 c# 开发，底层调用 Microsoft.ML.OnnxRuntime 对 onnx 模型进行解码。具备以下特点：

如何自动生成ONNX模型？实际开发中，我们通常从现有深度学习框架自动导出ONNX模型，而非手动编写。以下是主流框架的自动转换方法：

从onnx模型到om模型的全自动化转化项目位置：https://github.com/whypoxic/Ascend-ATC-tool_onnx2om

tensorRT配合triton部署模型initializer：拓扑关系：先conv，后relu3.1 边 3.2 算子 3.3 模型 3.4 图

一包烟电脑面前做一天

.Net + Qdrant 使用Microsoft.ML.OnnxRuntime调用本地大模型实现文本向量化，实现简单RAG本文使用.Net + 向量数据库Qdrant，实现使用本地大模型（Onnx）实现简单RAG，代码仅实现基本演示功能。

曾经风光无限的 Oracle DBA 已经落伍了吗？先讲一个残酷的事实，Oracle DBA，若仍停留在纯粹的运维方向，未来的路将会越走越窄，尤其是在国内的特殊环境下，可以说是前途渺茫，举步维艰。

搬砖的阿wei

ONNX：统一深度学习工作流的关键枢纽在深度学习领域，模型创建与部署的割裂曾是核心挑战。不同框架训练的模型难以在多样环境部署，而 ONNX（Open Neural Network Exchange）作为开放式神经网络交换格式，搭建起从模型创建到部署的统一桥梁，完美诠释 “连接创造与部署” 的核心价值。

Yongqiang Cheng

Llama 2 Powered By ONNXhttps://github.com/microsoft/Llama-2-OnnxLlama 2 is a collection of pretrained and fine-tuned generative text models.

RK3588-NPU pytorch-image-models 模型编译测试

后端常规开发人员

最好用的图文识别OCR -- PaddleOCR(2) 提高推理效率(PPOCR模型转ONNX模型进行推理)在实际推理过程中，使用 PaddleOCR 模型时效率较慢，经测试每张图片的检测与识别平均耗时超过 5 秒，这在需要大规模自动化处理的场景中无法满足需求。为此，我尝试将 PaddleOCR 模型转换为 ONNX 格式进行推理，以提升效率。以下是模型转换与使用的完整过程记录。