tensorrt

鹅毛在路上了

视频结构化框架VideoPipe-OpenCV::DNN-TensorRT安装教程【Nvidia各系列显卡-亲测有效】对于深度学习模型边端部署，使用TensorRT能大大提升推理性能，减少资源开销，VideoPipe也提供了针对TensorRT-8.5（要求cuda-11.1）的环境测试。

搬砖的阿wei

TensorRT：高性能深度学习推理的利器在深度学习领域，训练和推理是两个关键环节。训练过程通常需要大量的计算资源和时间来调整模型参数，而推理则是使用训练好的模型对新数据进行预测。随着深度学习模型的不断增大和复杂度的提高，推理的性能成为了一个重要的挑战。NVIDIA 的 TensorRT 就是为了解决这一问题而设计的高性能深度学习推理优化器。

性能飞跃！TensorRT-YOLO 6.0 全面升级解析与实战指南TensorRT-YOLO 6.0 引入了创新的多Context共享引擎机制，允许多个线程共享同一个Engine进行推理，最大化硬件资源利用率，同时显著降低内存占用。这一设计使得多任务并发推理更加高效，尤其适合需要同时处理多路视频流或大规模数据推理的场景。

TensorRT-YOLO：灵活易用的 YOLO 部署工具项目地址：TensorRT-YOLO GitHub:https://github.com/laugh12321/TensorRT-YOLO

多核并发编译引起的编译错误编译某个模型的工程化代码，模型里有多个算子使用了tensorrt plugin方式实现的，编译时总是报插件相关的目标文件找不到:

爱听歌的周童鞋

Depth-Anything推理详解及部署实现（下）在 Depth-Anything推理详解及部署实现（上）文章中我们有提到如何导出 Depth Anything 的 ONNX 模型，这篇文章就来看看如何在 tensorRT 上推理得到结果

因为风的缘故~

Ubuntu22.04安装cuda12.1+cudnn8.9.2+TensorRT8.6.1+pytorch2.3.0+opencv_cuda4.9+onnxruntime-gpu1.18说来话长，我想配一个一劳永逸的环境，方便以后复用。省的以后反复查教程重新装了这块内容来自：https://docs.infini-ai.com/posts/install-cuda-on-devmachine.html

opencv dnn模块示例(27) 目标检测 object_detection 之 yolov11YOLO11是Ultralytics实时目标探测器系列中最新的迭代版本，重新定义尖端的精度、速度和效率。在以往具有令人印象深刻进步的yolo版本基础上，YOLO11对架构和训练方法进行了重大改进，使其成为各种计算机视觉任务的多功能选择。

刘悦的技术博客

Win11本地部署FaceFusion3最强AI换脸,集成Tensorrt10.4推理加速,让甜品显卡也能发挥生产力FaceFusion3.0.0大抵是现在最强的AI换脸项目，分享一下如何在Win11系统，基于最新的cuda12.6配合最新的cudnn9.4本地部署FaceFusion3.0.0项目，并且搭配Tensorrt10.4，提高推理速度和效率，让甜品级显卡也能爆发生产力。

tensorrt 下载地址https://developer.nvidia.com/tensorrtrefer:

tensorrt python接口输出每一层的耗时这个代码段是用来在 TensorRT 推理中实现一个自定义的性能分析器（Profiler）。TensorRT 是 NVIDIA 提供的一个高性能深度学习推理库，用于加速深度学习模型在 GPU 上的推理过程。IProfiler 是 TensorRT 中的一个接口，用于实现层级时间分析功能。下面我将逐行解释代码的作用：

使用Pydot和graphviz画TensorRT的Engine图使用Pydot和graphviz画TensorRT的Engine图TensorRT支持很多层的融合，目的是为了优化访存，减少数据在每层之间传输的消耗。

NullPointerExpection

win10安装wsl2(ubuntu20.04)并安装 TensorRT-8.6.1.6、cuda_11.6、cudnn参考博客： 1. CUDA】如何在 windows 上安装 Ollama 3 + open webui （docker + WSL 2 + ubuntu + nvidia-container）：https://blog.csdn.net/smileyan9/article/details/140391667 2. 在 Windows 10 上安装 WSL 2：https://download.csdn.net/blog/column/10991260/137783175 3. Microsoft Sto

基于c++的yolov5推理之前处理详解及代码（一）目录一、前言：二、关于环境安装：三、首先记录下自己的几个问题问题：c++部署和python部署的区别？

书中藏着宇宙

TesorRT10模型转换时的错误记录并解决由于为个人安装的是TensorRT10,有些参数可能就不用了，在模型转换的时候会出现错误（本文章长期更新）特别注意onnxruntime_gpu的安装，他是与CUDA和CUDANN版本进行绑定的安装时候参考网址

NullPointerExpection

使用 Visual Studio 2022 自带的 cl.exe 编译 tensorRT自带测试样例 sampleOnnxMNIST1. 新建任意文件夹，将 D:\install\tensorRT\TensorRT-8.6.1.6\samples\sampleOnnxMNIST 下面的 sampleOnnxMNIST.cpp 文件复制进来，同时 D:\install\tensorRT\TensorRT-8.6.1.6\samples\sampleOnnxMNIST 下面的 sample_onnx_mnist.vcxproj 中的内容：

NullPointerExpection

ubuntu23安装tensorRT步骤记录

Nvidia TensorRT系列01-TensorRT的功能1B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)博客：肆十二-CSDN博客

NullPointerExpection

深度学习、神经网络领域经常听到一个术语 “量化“，比如 “量化算子“，“量化“具体什么含义呢？（百度 AI 对话回答 )问题：深度学习、神经网络领域经常听到一个术语 "量化"，比如 "量化算子"，"量化"具体什么含义呢？百度 AI 回答：

椒颜皮皮虾྅

【TensorRT】TensorRT C# API 项目更新 (1)：支持动态Bath输入模型推理（下篇）关于该项目的调用方式在上一篇文章中已经进行了详细介绍，具体使用可以参考《最新发布！TensorRT C# API ：基于C#与TensorRT部署深度学习模型》，下面结合Yolov8-cls模型详细介绍一下更新的接口使用方法。