tensorrt

多核并发编译引起的编译错误编译某个模型的工程化代码，模型里有多个算子使用了tensorrt plugin方式实现的，编译时总是报插件相关的目标文件找不到:

爱听歌的周童鞋

Depth-Anything推理详解及部署实现（下）在 Depth-Anything推理详解及部署实现（上）文章中我们有提到如何导出 Depth Anything 的 ONNX 模型，这篇文章就来看看如何在 tensorRT 上推理得到结果

因为风的缘故~

Ubuntu22.04安装cuda12.1+cudnn8.9.2+TensorRT8.6.1+pytorch2.3.0+opencv_cuda4.9+onnxruntime-gpu1.18说来话长，我想配一个一劳永逸的环境，方便以后复用。省的以后反复查教程重新装了这块内容来自：https://docs.infini-ai.com/posts/install-cuda-on-devmachine.html

opencv dnn模块示例(27) 目标检测 object_detection 之 yolov11YOLO11是Ultralytics实时目标探测器系列中最新的迭代版本，重新定义尖端的精度、速度和效率。在以往具有令人印象深刻进步的yolo版本基础上，YOLO11对架构和训练方法进行了重大改进，使其成为各种计算机视觉任务的多功能选择。

刘悦的技术博客

Win11本地部署FaceFusion3最强AI换脸,集成Tensorrt10.4推理加速,让甜品显卡也能发挥生产力FaceFusion3.0.0大抵是现在最强的AI换脸项目，分享一下如何在Win11系统，基于最新的cuda12.6配合最新的cudnn9.4本地部署FaceFusion3.0.0项目，并且搭配Tensorrt10.4，提高推理速度和效率，让甜品级显卡也能爆发生产力。

tensorrt 下载地址https://developer.nvidia.com/tensorrtrefer:

tensorrt python接口输出每一层的耗时这个代码段是用来在 TensorRT 推理中实现一个自定义的性能分析器（Profiler）。TensorRT 是 NVIDIA 提供的一个高性能深度学习推理库，用于加速深度学习模型在 GPU 上的推理过程。IProfiler 是 TensorRT 中的一个接口，用于实现层级时间分析功能。下面我将逐行解释代码的作用：

使用Pydot和graphviz画TensorRT的Engine图使用Pydot和graphviz画TensorRT的Engine图TensorRT支持很多层的融合，目的是为了优化访存，减少数据在每层之间传输的消耗。

NullPointerExpection

win10安装wsl2(ubuntu20.04)并安装 TensorRT-8.6.1.6、cuda_11.6、cudnn参考博客： 1. CUDA】如何在 windows 上安装 Ollama 3 + open webui （docker + WSL 2 + ubuntu + nvidia-container）：https://blog.csdn.net/smileyan9/article/details/140391667 2. 在 Windows 10 上安装 WSL 2：https://download.csdn.net/blog/column/10991260/137783175 3. Microsoft Sto

基于c++的yolov5推理之前处理详解及代码（一）目录一、前言：二、关于环境安装：三、首先记录下自己的几个问题问题：c++部署和python部署的区别？

书中藏着宇宙

TesorRT10模型转换时的错误记录并解决由于为个人安装的是TensorRT10,有些参数可能就不用了，在模型转换的时候会出现错误（本文章长期更新）特别注意onnxruntime_gpu的安装，他是与CUDA和CUDANN版本进行绑定的安装时候参考网址

NullPointerExpection

使用 Visual Studio 2022 自带的 cl.exe 编译 tensorRT自带测试样例 sampleOnnxMNIST1. 新建任意文件夹，将 D:\install\tensorRT\TensorRT-8.6.1.6\samples\sampleOnnxMNIST 下面的 sampleOnnxMNIST.cpp 文件复制进来，同时 D:\install\tensorRT\TensorRT-8.6.1.6\samples\sampleOnnxMNIST 下面的 sample_onnx_mnist.vcxproj 中的内容：

NullPointerExpection

ubuntu23安装tensorRT步骤记录

Nvidia TensorRT系列01-TensorRT的功能1B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)博客：肆十二-CSDN博客

NullPointerExpection

深度学习、神经网络领域经常听到一个术语 “量化“，比如 “量化算子“，“量化“具体什么含义呢？（百度 AI 对话回答 )问题：深度学习、神经网络领域经常听到一个术语 "量化"，比如 "量化算子"，"量化"具体什么含义呢？百度 AI 回答：

椒颜皮皮虾྅

【TensorRT】TensorRT C# API 项目更新 (1)：支持动态Bath输入模型推理（下篇）关于该项目的调用方式在上一篇文章中已经进行了详细介绍，具体使用可以参考《最新发布！TensorRT C# API ：基于C#与TensorRT部署深度学习模型》，下面结合Yolov8-cls模型详细介绍一下更新的接口使用方法。

算法部署 | 使用TensorRT+DeepSort+YOLOv5在NVIDIA-Jetson平台上部署目标跟踪算法

扫地的小何尚

(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度扩散模型正在改变跨行业的创意工作流程。这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的图像。这可以应用于许多企业用例，例如创建个性化营销内容、为照片中的对象生成富有想象力的背景、设计动态的高质量环境和游戏角色等等。

使用TensorRT-LLM进行生产环境的部署指南TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。该框架是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 FastTransformer 中高效的 Kernels 实现，并且可以利用 NCCL 完成设备之间的通讯。

PyTorch训练，TensorRT部署的简要步骤（采用ONNX中转的方式）使用PyTorch执行训练，使用TensorRT进行部署有很多种方法，比较常用的是基于INetworkDefinition进行每一层的自定义，这样一来，会反向促使研究者能够对真个网络的细节有更深的理解。