tensorrt

TensorRT 10.14.1 初体验：介绍、安装与Demo尝试本文章配套视频：TensorRT 10.14.1 初体验：介绍、安装与Demo尝试本人有偿提供【Window平台上 TensorRT 开发环境搭建】服务，可咨询（练习方式：QQ- 736340716 雪天鱼）小店商品链接：Windows 平台上 TensorRT 开发环境搭建

TensorRT 推理 YOLO Demo 分享（Python）TensorRT 8.6.1；CUDA 11.8；cuDNN 8.6.0；Python：3.11；pytorch-cuda：11.8

TensorRT-LLM 核心技术深度分析报告基于对TensorRT-LLM源码的深入分析，我整理了以下核心技术实现细节和架构设计模式的完整技术报告。

【TensorRT】Could not load library libcudnn_cnn_infer.so.8这是一个CUDA版本不匹配问题：PyTorch在运行时寻找与CUDA 11.7兼容的库，但系统加载的是CUDA 12.9的库，导致符号不匹配和运行时错误。

【DNN】基础环境搭建实现CUDA，CUDNN与TensorRT各个版本之间的依赖关系尤为重要，但是在不同的工作环境下可能需要使用不同的版本匹配。本文主要通过软连接的方式实现各个版本之间的自由搭配。

Ubuntu 22.04 安装tensorrt环境：ubuntu22.04显卡：NVIDIA 1080此前操作系统没有安装过显卡相关驱动和工具包。没有使用deb安装包安装：原因是安装的时候校验版本一直安装不上，故使用tar手动配置。

爱分享的飘哥

第六十一章：AI 模型的“视频加速术”：Wan视频扩散模型优化你可能已经体验过像 Stable Diffusion 这样的文生图模型，它们能够在几秒内生成高质量的图片。

tensorRT配合triton部署模型initializer：拓扑关系：先conv，后relu3.1 边 3.2 算子 3.3 模型 3.4 图

TensorRT 有什么特殊之处TensorRT是NVIDIA推出的高性能深度学习推理优化器和运行时库，专注于将训练好的模型在GPU上实现低延迟、高吞吐量的部署。其主要功能包括：

鹅毛在路上了

视频结构化框架VideoPipe-OpenCV::DNN-TensorRT安装教程【Nvidia各系列显卡-亲测有效】对于深度学习模型边端部署，使用TensorRT能大大提升推理性能，减少资源开销，VideoPipe也提供了针对TensorRT-8.5（要求cuda-11.1）的环境测试。

搬砖的阿wei

TensorRT：高性能深度学习推理的利器在深度学习领域，训练和推理是两个关键环节。训练过程通常需要大量的计算资源和时间来调整模型参数，而推理则是使用训练好的模型对新数据进行预测。随着深度学习模型的不断增大和复杂度的提高，推理的性能成为了一个重要的挑战。NVIDIA 的 TensorRT 就是为了解决这一问题而设计的高性能深度学习推理优化器。

性能飞跃！TensorRT-YOLO 6.0 全面升级解析与实战指南TensorRT-YOLO 6.0 引入了创新的多Context共享引擎机制，允许多个线程共享同一个Engine进行推理，最大化硬件资源利用率，同时显著降低内存占用。这一设计使得多任务并发推理更加高效，尤其适合需要同时处理多路视频流或大规模数据推理的场景。

TensorRT-YOLO：灵活易用的 YOLO 部署工具项目地址：TensorRT-YOLO GitHub:https://github.com/laugh12321/TensorRT-YOLO

多核并发编译引起的编译错误编译某个模型的工程化代码，模型里有多个算子使用了tensorrt plugin方式实现的，编译时总是报插件相关的目标文件找不到:

爱听歌的周童鞋

Depth-Anything推理详解及部署实现（下）在 Depth-Anything推理详解及部署实现（上）文章中我们有提到如何导出 Depth Anything 的 ONNX 模型，这篇文章就来看看如何在 tensorRT 上推理得到结果

因为风的缘故~

Ubuntu22.04安装cuda12.1+cudnn8.9.2+TensorRT8.6.1+pytorch2.3.0+opencv_cuda4.9+onnxruntime-gpu1.18说来话长，我想配一个一劳永逸的环境，方便以后复用。省的以后反复查教程重新装了这块内容来自：https://docs.infini-ai.com/posts/install-cuda-on-devmachine.html

opencv dnn模块示例(27) 目标检测 object_detection 之 yolov11YOLO11是Ultralytics实时目标探测器系列中最新的迭代版本，重新定义尖端的精度、速度和效率。在以往具有令人印象深刻进步的yolo版本基础上，YOLO11对架构和训练方法进行了重大改进，使其成为各种计算机视觉任务的多功能选择。

刘悦的技术博客

Win11本地部署FaceFusion3最强AI换脸,集成Tensorrt10.4推理加速,让甜品显卡也能发挥生产力FaceFusion3.0.0大抵是现在最强的AI换脸项目，分享一下如何在Win11系统，基于最新的cuda12.6配合最新的cudnn9.4本地部署FaceFusion3.0.0项目，并且搭配Tensorrt10.4，提高推理速度和效率，让甜品级显卡也能爆发生产力。

tensorrt 下载地址https://developer.nvidia.com/tensorrtrefer:

tensorrt python接口输出每一层的耗时这个代码段是用来在 TensorRT 推理中实现一个自定义的性能分析器（Profiler）。TensorRT 是 NVIDIA 提供的一个高性能深度学习推理库，用于加速深度学习模型在 GPU 上的推理过程。IProfiler 是 TensorRT 中的一个接口，用于实现层级时间分析功能。下面我将逐行解释代码的作用：