tensorrt

Nvidia TensorRT系列01-TensorRT的功能1B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)博客：肆十二-CSDN博客

NullPointerExpection

深度学习、神经网络领域经常听到一个术语 “量化“，比如 “量化算子“，“量化“具体什么含义呢？（百度 AI 对话回答 )问题：深度学习、神经网络领域经常听到一个术语 "量化"，比如 "量化算子"，"量化"具体什么含义呢？百度 AI 回答：

椒颜皮皮虾྅

【TensorRT】TensorRT C# API 项目更新 (1)：支持动态Bath输入模型推理（下篇）关于该项目的调用方式在上一篇文章中已经进行了详细介绍，具体使用可以参考《最新发布！TensorRT C# API ：基于C#与TensorRT部署深度学习模型》，下面结合Yolov8-cls模型详细介绍一下更新的接口使用方法。

算法部署 | 使用TensorRT+DeepSort+YOLOv5在NVIDIA-Jetson平台上部署目标跟踪算法

扫地的小何尚

(含代码)利用NVIDIA Triton加速Stable Diffusion XL推理速度扩散模型正在改变跨行业的创意工作流程。这些模型通过去噪扩散技术迭代地将随机噪声塑造成人工智能生成的艺术，从而基于简单的文本或图像输入生成令人惊叹的图像。这可以应用于许多企业用例，例如创建个性化营销内容、为照片中的对象生成富有想象力的背景、设计动态的高质量环境和游戏角色等等。

使用TensorRT-LLM进行生产环境的部署指南TensorRT-LLM是一个由Nvidia设计的开源框架，用于在生产环境中提高大型语言模型的性能。该框架是基于 TensorRT 深度学习编译框架来构建、编译并执行计算图，并借鉴了许多 FastTransformer 中高效的 Kernels 实现，并且可以利用 NCCL 完成设备之间的通讯。

PyTorch训练，TensorRT部署的简要步骤（采用ONNX中转的方式）使用PyTorch执行训练，使用TensorRT进行部署有很多种方法，比较常用的是基于INetworkDefinition进行每一层的自定义，这样一来，会反向促使研究者能够对真个网络的细节有更深的理解。

小女孩真可爱

visual studio2022使用tensorRT配置只记录tensorRT在vs中使用时的配置，下载和安装的文章主页自己寻找。下载好TensorRT和对应的cuda之后，把tensorRT的锻炼了和lib文件复制粘贴到cuda对应的文件夹中，以方便调用。

Stable Diffusion教程——使用TensorRT GPU加速提升Stable Diffusion出图速度Diffusion 模型在生成图像时最大的瓶颈是速度过慢的问题。为了解决这个问题，Stable Diffusion 采用了多种方式来加速图像生成，使得实时图像生成成为可能。最核心的加速是Stable Diffusion 使用了编码器将图像从原始的 3512512 大小转换为更小的 46464 大小，从而极大地降低了计算量。它还利用了潜在表示空间（latent space）上的 Diffusion 过程，进一步降低了计算复杂度，同时也能保证较好的图像生成效果。在消费级GPU 上（8G显存），Stable

windows上使用anconda安装tensorrt环境本次使用的window环境是win 11，windows环境安装cuda(cuda版本为11.6.2)和cudnn(cudnn版本为8.8.0其实应该下载8.9.0，tensorrt 8.6.1对应的cudnn版本是8.9.0，如下图1)，anconda的安装就不用介绍了，如果不会安装，可以参考这篇文章图 1 图1 图1

YOLOv8-TensorRT C++ ubuntu部署先要安装好显卡驱动、CUDA、CUDNN以ubuntu20.04、显卡1650安装470版本的显卡驱动、11.3版本的CUDA及8.2版本的CUDNN为例

【深度学习】SDXL tensorRT 推理，Stable Diffusion 转onnx，转TensorRT项目：https://huggingface.co/docs/diffusers/optimization/onnx

菜鸟的追梦旅行

TensorRT加速推理入门-1：Pytorch转ONNX这篇文章，用于记录将TransReID的pytorch模型转换为onnx的学习过程，期间参考和学习了许多大佬编写的博客，在参考文章这一章节中都已列出，非常感谢。

菜鸟的追梦旅行

onnx的基本介绍TensorRT 从框架中导入训练模型的主要方式是通过ONNX交换格式。 TensorRT 附带一个 ONNX 解析器库来帮助导入模型。在可能的情况下，解析器向后兼容 opset 7； ONNX模型 Opset 版本转换器可以帮助解决不兼容问题。 GitHub 版本可能支持比 TensorRT 附带的版本更高的 opset，请参阅 ONNX-TensorRT运算符支持矩阵运算符支持矩阵，以获取有关受支持的 opset 和运算符的最新信息。 TensorRT 的 ONNX 算子支持列表可在此处找到。 Py

【Win10安装Tensorrt和torch2trt】（1）主机系统：Win10（2）显卡： Quadro RTX 6000（3）CUDA版本：V11.7.64

使用TensorRT对Yolov5进行部署【基于Python】如果还未配置TensorRT，请看这篇博文：Win11下TensorRT环境部署这里使用TensorRT对Yolov5进行部署流程比较固定：先将pt模型转换为onnx，再将onnx模型转为engine，所以在执行export.py时要将onnx、engine给到include。

【Windows 开发环境配置——NVIDIA 篇】CUDA、cuDNN、TensorRT 三件套安装从CUDA Toolkit Archive下载相应版本的离线安装包，这里以11.7为例。打开安装包，在安装选项选择自定义模式，点击下一步。

爱听歌的周童鞋

YOLOv8-Seg推理详解及部署实现梳理下 YOLOv8-Seg 的预处理和后处理流程，顺便让 tensorRT_Pro 支持 YOLOv8-Seg

爱听歌的周童鞋

YOLOv8-Cls推理详解及部署实现梳理下 YOLOv8-Cls 的预处理流程，顺便让 tensorRT_Pro 支持 YOLOv8-Cls

yolov8x-p2 实现 tensorrt 推理在最开始的yolov8提供的不同size的版本，包括n、s、m、l、x（模型规模依次增大，通过depth, width, max_channels控制大小），这些都是通过P3、P4和P5提取图片特征；正常的yolov8对象检测模型输出层是P3、P4、P5三个输出层，为了提升对小目标的检测能力，新版本的yolov8 已经包含了P2层（P2层做的卷积次数少，特征图的尺寸（分辨率）较大，更加利于小目标识别），有四个输出层。Backbone部分的结果没有改变，但是Neck跟Head部分模型结构做了调整。