onnx

Ubuntu20.04 更新Nvidia驱动 + 安装CUDA12.1 + cudnn8.9.7最近客户给了几台GPU服务器，长期放置落灰那种，然后想利用起来，所以上去看看了配置，系统是Ubuntu20.04，相关的驱动版本稍嫌老一些，所以需要更新Nvidia驱动，同时在安装CUDA和CUDNN，查看了显卡型号之后，打算使用onnxruntime进行推理，对比了版本，最后选择了CUDA12.1 + CUDNN8.9.7。

解决低版本pytorch和onnx组合时torch.atan2()不被onnx支持的问题解决这个问题，最简单的当然是升级pytorch和onnx到比较高的版本，例如有人验证过的组合: pytorch=2.1.1+cu118, onnxruntime=1.16.3

牙牙要健康

【深度学习】【图像分类】【OnnxRuntime】【Python】VggNet模型部署提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论本期将讲解深度学习图像分类网络VggNet模型的部署，对于该算法的基础知识，可以参考博主【VggNet模型算法Pytorch版本详解】博文。读者可以通过学习【onnx部署】部署系列学习文章目录的onnxruntime系统学习–Python篇的内容，系统的学习OnnxRuntime部署不同任务的onnx模型。

yolact导出onnxgithub上有yolact-onnx仓库可以导出不带有nms和两个分支的矩阵相乘的部分，但是无法导出带有nms的部分。

搭建自己的AI模型应用网站：JavaScript + Flask-Python + ONNX本文作者以一个前端新手视角，部署自己的神经网络模型作为后端，搭建自己的网站实现应用的实战经历。目前实现的网页应用有：

导出 Whisper 模型到 ONNX在语音识别领域，Whisper 模型因其出色的性能和灵活性备受关注。为了在更多平台和环境中部署 Whisper 模型，导出为 ONNX 格式是一个有效的途径。ONNX（Open Neural Network Exchange）是一个开放格式，支持不同的深度学习框架之间的模型互操作性。本指南将详细介绍如何将 Whisper 模型导出为 ONNX 格式，并提供测试模型的步骤。

爱听歌的周童鞋

三. TensorRT基础入门-剖析ONNX架构并理解ProtoBuf自动驾驶之心推出的《CUDA与TensorRT部署实战课程》，链接。记录下个人学习笔记，仅供自己参考

阿里开源黑白图片上色算法DDColor的部署与测试并将模型转onnx后用c++推理DDColor是一种基于深度学习的图像上色技术，它利用卷积神经网络（CNN）对黑白图像进行上色处理。该模型通常包含一个编码器和一个解码器，编码器提取图像的特征，解码器则根据这些特征生成颜色。DDColor模型能够处理多种类型的图像，并生成自然且逼真的颜色效果。它在图像编辑、电影后期制作以及历史照片修复等领域有广泛的应用。

太阳花的小绿豆

Pytorch导出FP16 ONNX模型一般Pytorch导出ONNX时默认都是用的FP32，但有时需要导出FP16的ONNX模型，这样在部署时能够方便的将计算以及IO改成FP16，并且ONNX文件体积也会更小。想导出FP16的ONNX模型也比较简单，一般情况下只需要在导出FP32 ONNX的基础上调用下model.half()将模型相关权重转为FP16，然后输入的Tensor也改成FP16即可，具体操作可参考如下示例代码。这里需要注意下，当前Pytorch要导出FP16的ONNX必须将模型以及输入Tensor的device设置成GPU，否则会

Pytorch转onnxpytorch 转 onnx 模型需要函数 torch.onnx.export。常用参数说明参数说明 ONNX算子文档 ONNX 算子的定义情况，都可以在官方的算子文档中查看这份文档中最重要的开头的这个算子变更表格。表格的第一列是算子名，第二列是该算子发生变动的算子集版本号，也就是我们之前在torch.onnx.export中提到的opset_version表示的算子集版本号。通过查看算子第一次发生变动的版本号，我们可以知道某个算子是从哪个版本开始支持的；通过查看某算子小于等于opset_version

onnx runtime文档学习1-介绍与架构网上充斥着ONNX runtime的简单科普，却没有一个系统介绍ONNX runtime的博客，因此本博客旨在基于官方文档进行翻译与进一步的解释。ONNX runtime的官方文档：https://onnxruntime.ai/docs/

PyTorch训练，TensorRT部署的简要步骤（采用ONNX中转的方式）使用PyTorch执行训练，使用TensorRT进行部署有很多种方法，比较常用的是基于INetworkDefinition进行每一层的自定义，这样一来，会反向促使研究者能够对真个网络的细节有更深的理解。

端木的AI探索屋

MIT-BEVFusion系列八--onnx导出1 综述及相机网络导出bevfusion的各个部分的实现有着鲜明的特点，并且相互独立，特别是考虑到后续部署的需要，这里将整个网络，分成多个部分，分别导出onnx，方便后续部署。

【已解决】pt文件转onnx后再转rknn时得到推理图片出现大量锚框变花屏Ubuntu 18.04.5 LTSpy3.8-rknn2-1.4.0迅为itop-3568开发板采用yolov5训练并将pt转换为onnx，再将onnx采用py3.8-rknn2-1.4.0推理转换为rknn，rknn模型能正常转换，并且推理显示正常。但将rknn文件放到开发板，使用rknn_toolkit_lite2进行推理时，得到的推理图片出现大量锚框变花屏，如下。

C# ONNX使用入门教程有新入坑的老哥不太了解C# onnx 运行的机理，我这边详细介绍一下，之前直接放官方的样例有点草率了。

C#简单使用Yolov5的Onnx格式模型进行目标检测最近要离职了，同事需要了解一下C#如何使用yolov5系列onnx格式模型进行目标检测，由于其对C#不熟练，可能会影响公司后续的开发进度，所以趁着还在，赶紧把手尾搞好。

学习笔记：在华为昇腾NPU上进行深度学习项目【未完待续】中括号里的为查询结果示例。 – 查看系统架构：uname -a [aarch64，也称arm64] – 查看操作系统版本：lsb_release -a [Ubuntu 22.04.3 LTS] – 查看npu芯片型号：npu-smi info [Ascend310B4] – 查看npu id：npu-smi info -l – 查看Atlas产品型号：npu-smi info -t product -i <npu id> [Atlas 200I A2]

菜鸟的追梦旅行

TensorRT加速推理入门-1：Pytorch转ONNX这篇文章，用于记录将TransReID的pytorch模型转换为onnx的学习过程，期间参考和学习了许多大佬编写的博客，在参考文章这一章节中都已列出，非常感谢。

菜鸟的追梦旅行

onnx的基本介绍TensorRT 从框架中导入训练模型的主要方式是通过ONNX交换格式。 TensorRT 附带一个 ONNX 解析器库来帮助导入模型。在可能的情况下，解析器向后兼容 opset 7； ONNX模型 Opset 版本转换器可以帮助解决不兼容问题。 GitHub 版本可能支持比 TensorRT 附带的版本更高的 opset，请参阅 ONNX-TensorRT运算符支持矩阵运算符支持矩阵，以获取有关受支持的 opset 和运算符的最新信息。 TensorRT 的 ONNX 算子支持列表可在此处找到。 Py

pytorch实现DCP暗通道先验去雾算法及其onnx导出最近在做图像去雾，于是在Pytorch上复现了一下dcp算法。暗通道先验去雾算法是大神何恺明2009年发表在CVPR上的一篇论文，还获得了当年的CVPR最佳论文。