tensorrt

给算法爸爸上香

yolo tensorrt视频流检测软解码和硬解码项目地址：https://github.com/shouxieai/hard_decode_trt依赖第三方库： cuda-10.2 https://developer.nvidia.com/cuda-10.2-download-archive cudnn8.2.2.26 https://developer.nvidia.com/rdp/cudnn-archive ffmpeg4.2 https://codeload.github.com/FFmpeg/FFmpeg/zip/refs/tags/n4.2

TensorRT介绍与示例代码学习下面的内容会分成几部分来讲：用一句话概括： TensorRT 是 NVIDIA 提供的、面向深度学习推理阶段的高性能优化与执行引擎，专门用来在 NVIDIA GPU 上做高吞吐、低延迟的推理。

模型部分量化后用tensorrt转换engine时遇到的问题模型的python版本推理效果很好，但是导出onnx并用tensorrt解析转换(做了FP16量化)成engine后推理效果稀烂的，输出无数个得分很低且不正确的目标，判断可能是做了FP16量化后模型内部某些地方数据因为精度不够发生了溢出，仔细检查代码，将模型网络里高度可疑的模块及其出入关联部分强制不做FP16量化：

TensorRT-LLM部署Qwen3-14BTensorRT-LLM 官方文档地址：https://nvidia.github.io/TensorRT-LLM/overview.html

TensorRT 10.14.1 初体验：介绍、安装与Demo尝试本文章配套视频：TensorRT 10.14.1 初体验：介绍、安装与Demo尝试本人有偿提供【Window平台上 TensorRT 开发环境搭建】服务，可咨询（练习方式：QQ- 736340716 雪天鱼）小店商品链接：Windows 平台上 TensorRT 开发环境搭建

TensorRT 推理 YOLO Demo 分享（Python）TensorRT 8.6.1；CUDA 11.8；cuDNN 8.6.0；Python：3.11；pytorch-cuda：11.8

TensorRT-LLM 核心技术深度分析报告基于对TensorRT-LLM源码的深入分析，我整理了以下核心技术实现细节和架构设计模式的完整技术报告。

【TensorRT】Could not load library libcudnn_cnn_infer.so.8这是一个CUDA版本不匹配问题：PyTorch在运行时寻找与CUDA 11.7兼容的库，但系统加载的是CUDA 12.9的库，导致符号不匹配和运行时错误。

【DNN】基础环境搭建实现CUDA，CUDNN与TensorRT各个版本之间的依赖关系尤为重要，但是在不同的工作环境下可能需要使用不同的版本匹配。本文主要通过软连接的方式实现各个版本之间的自由搭配。

Ubuntu 22.04 安装tensorrt环境：ubuntu22.04显卡：NVIDIA 1080此前操作系统没有安装过显卡相关驱动和工具包。没有使用deb安装包安装：原因是安装的时候校验版本一直安装不上，故使用tar手动配置。

爱分享的飘哥

第六十一章：AI 模型的“视频加速术”：Wan视频扩散模型优化你可能已经体验过像 Stable Diffusion 这样的文生图模型，它们能够在几秒内生成高质量的图片。

tensorRT配合triton部署模型initializer：拓扑关系：先conv，后relu3.1 边 3.2 算子 3.3 模型 3.4 图

TensorRT 有什么特殊之处TensorRT是NVIDIA推出的高性能深度学习推理优化器和运行时库，专注于将训练好的模型在GPU上实现低延迟、高吞吐量的部署。其主要功能包括：

鹅毛在路上了

视频结构化框架VideoPipe-OpenCV::DNN-TensorRT安装教程【Nvidia各系列显卡-亲测有效】对于深度学习模型边端部署，使用TensorRT能大大提升推理性能，减少资源开销，VideoPipe也提供了针对TensorRT-8.5（要求cuda-11.1）的环境测试。

搬砖的阿wei

TensorRT：高性能深度学习推理的利器在深度学习领域，训练和推理是两个关键环节。训练过程通常需要大量的计算资源和时间来调整模型参数，而推理则是使用训练好的模型对新数据进行预测。随着深度学习模型的不断增大和复杂度的提高，推理的性能成为了一个重要的挑战。NVIDIA 的 TensorRT 就是为了解决这一问题而设计的高性能深度学习推理优化器。

性能飞跃！TensorRT-YOLO 6.0 全面升级解析与实战指南TensorRT-YOLO 6.0 引入了创新的多Context共享引擎机制，允许多个线程共享同一个Engine进行推理，最大化硬件资源利用率，同时显著降低内存占用。这一设计使得多任务并发推理更加高效，尤其适合需要同时处理多路视频流或大规模数据推理的场景。

TensorRT-YOLO：灵活易用的 YOLO 部署工具项目地址：TensorRT-YOLO GitHub:https://github.com/laugh12321/TensorRT-YOLO

多核并发编译引起的编译错误编译某个模型的工程化代码，模型里有多个算子使用了tensorrt plugin方式实现的，编译时总是报插件相关的目标文件找不到:

爱听歌的周童鞋

Depth-Anything推理详解及部署实现（下）在 Depth-Anything推理详解及部署实现（上）文章中我们有提到如何导出 Depth Anything 的 ONNX 模型，这篇文章就来看看如何在 tensorRT 上推理得到结果

因为风的缘故~

Ubuntu22.04安装cuda12.1+cudnn8.9.2+TensorRT8.6.1+pytorch2.3.0+opencv_cuda4.9+onnxruntime-gpu1.18说来话长，我想配一个一劳永逸的环境，方便以后复用。省的以后反复查教程重新装了这块内容来自：https://docs.infini-ai.com/posts/install-cuda-on-devmachine.html