tensorrt

opencv dnn模块示例(27) 目标检测 object_detection 之 yolov11YOLO11是Ultralytics实时目标探测器系列中最新的迭代版本，重新定义尖端的精度、速度和效率。在以往具有令人印象深刻进步的yolo版本基础上，YOLO11对架构和训练方法进行了重大改进，使其成为各种计算机视觉任务的多功能选择。

刘悦的技术博客

Win11本地部署FaceFusion3最强AI换脸,集成Tensorrt10.4推理加速,让甜品显卡也能发挥生产力FaceFusion3.0.0大抵是现在最强的AI换脸项目，分享一下如何在Win11系统，基于最新的cuda12.6配合最新的cudnn9.4本地部署FaceFusion3.0.0项目，并且搭配Tensorrt10.4，提高推理速度和效率，让甜品级显卡也能爆发生产力。

tensorrt 下载地址https://developer.nvidia.com/tensorrtrefer:

tensorrt python接口输出每一层的耗时这个代码段是用来在 TensorRT 推理中实现一个自定义的性能分析器（Profiler）。TensorRT 是 NVIDIA 提供的一个高性能深度学习推理库，用于加速深度学习模型在 GPU 上的推理过程。IProfiler 是 TensorRT 中的一个接口，用于实现层级时间分析功能。下面我将逐行解释代码的作用：

使用Pydot和graphviz画TensorRT的Engine图使用Pydot和graphviz画TensorRT的Engine图TensorRT支持很多层的融合，目的是为了优化访存，减少数据在每层之间传输的消耗。

NullPointerExpection

win10安装wsl2(ubuntu20.04)并安装 TensorRT-8.6.1.6、cuda_11.6、cudnn参考博客： 1. CUDA】如何在 windows 上安装 Ollama 3 + open webui （docker + WSL 2 + ubuntu + nvidia-container）：https://blog.csdn.net/smileyan9/article/details/140391667 2. 在 Windows 10 上安装 WSL 2：https://download.csdn.net/blog/column/10991260/137783175 3. Microsoft Sto

基于c++的yolov5推理之前处理详解及代码（一）目录一、前言：二、关于环境安装：三、首先记录下自己的几个问题问题：c++部署和python部署的区别？

书中藏着宇宙

TesorRT10模型转换时的错误记录并解决由于为个人安装的是TensorRT10,有些参数可能就不用了，在模型转换的时候会出现错误（本文章长期更新）特别注意onnxruntime_gpu的安装，他是与CUDA和CUDANN版本进行绑定的安装时候参考网址

NullPointerExpection

使用 Visual Studio 2022 自带的 cl.exe 编译 tensorRT自带测试样例 sampleOnnxMNIST1. 新建任意文件夹，将 D:\install\tensorRT\TensorRT-8.6.1.6\samples\sampleOnnxMNIST 下面的 sampleOnnxMNIST.cpp 文件复制进来，同时 D:\install\tensorRT\TensorRT-8.6.1.6\samples\sampleOnnxMNIST 下面的 sample_onnx_mnist.vcxproj 中的内容：

NullPointerExpection

ubuntu23安装tensorRT步骤记录

Nvidia TensorRT系列01-TensorRT的功能1B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)博客：肆十二-CSDN博客

NullPointerExpection

深度学习、神经网络领域经常听到一个术语 “量化“，比如 “量化算子“，“量化“具体什么含义呢？（百度 AI 对话回答 )问题：深度学习、神经网络领域经常听到一个术语 "量化"，比如 "量化算子"，"量化"具体什么含义呢？百度 AI 回答：

椒颜皮皮虾྅

【TensorRT】TensorRT C# API 项目更新 (1)：支持动态Bath输入模型推理（下篇）关于该项目的调用方式在上一篇文章中已经进行了详细介绍，具体使用可以参考《最新发布！TensorRT C# API ：基于C#与TensorRT部署深度学习模型》，下面结合Yolov8-cls模型详细介绍一下更新的接口使用方法。

算法部署 | 使用TensorRT+DeepSort+YOLOv5在NVIDIA-Jetson平台上部署目标跟踪算法

扫地的小何尚

(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度扩散模型正在改变跨行业的创意工作流程。这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的图像。这可以应用于许多企业用例，例如创建个性化营销内容、为照片中的对象生成富有想象力的背景、设计动态的高质量环境和游戏角色等等。

使用TensorRT-LLM进行生产环境的部署指南TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。该框架是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 FastTransformer 中高效的 Kernels 实现，并且可以利用 NCCL 完成设备之间的通讯。

PyTorch训练，TensorRT部署的简要步骤（采用ONNX中转的方式）使用PyTorch执行训练，使用TensorRT进行部署有很多种方法，比较常用的是基于INetworkDefinition进行每一层的自定义，这样一来，会反向促使研究者能够对真个网络的细节有更深的理解。

小女孩真可爱

visual studio2022使用tensorRT配置只记录tensorRT在vs中使用时的配置，下载和安装的文章主页自己寻找。下载好TensorRT和对应的cuda之后，把tensorRT的锻炼了和lib文件复制粘贴到cuda对应的文件夹中，以方便调用。

Stable Diffusion教程——使用TensorRT GPU加速提升Stable Diffusion出图速度Diffusion 模型在生成图像时最大的瓶颈是速度过慢的问题。为了解决这个问题，Stable Diffusion 采用了多种方式来加速图像生成，使得实时图像生成成为可能。最核心的加速是Stable Diffusion 使用了编码器将图像从原始的 3512512 大小转换为更小的 46464 大小，从而极大地降低了计算量。它还利用了潜在表示空间（latent space）上的 Diffusion 过程，进一步降低了计算复杂度，同时也能保证较好的图像生成效果。在消费级GPU 上（8G显存），Stable

windows上使用anconda安装tensorrt环境本次使用的window环境是win 11，windows环境安装cuda(cuda版本为11.6.2)和cudnn(cudnn版本为8.8.0其实应该下载8.9.0，tensorrt 8.6.1对应的cudnn版本是8.9.0，如下图1)，anconda的安装就不用介绍了，如果不会安装，可以参考这篇文章图 1 图1 图1