tensorrt

Windows 下 YOLO11 Pose 的 TensorRT C++ 部署Windows 下 YOLO11 Pose 的 TensorRT C++ 部署摘要：本文介绍如何在 Windows 下使用 TensorRT 10.16 以 C++ 部署 YOLO11 特征点检测模型。内容涵盖环境准备（VS2022、CMake、CUDA 12.9、OpenCV 4.8.1、TensorRT）、工程编译与验证、模型导出（FP32/FP16/INT8）与 engine 序列化，以及命令行推理和部署自训练模型的完整流程。实测 C++ 实现推理单帧约 1.4 ms，相比 ultralytics

智码看视界

模型压缩与部署——量化、剪枝与 ONNX 导出上篇玩转了 GAN 生成，但再好的模型训完也得上线，体积、速度与部署才是工程的最后一公里。实验室里 ResNet-50 跑出 76% 精度很爽，但一算：模型 98MB、推理要一张高端 GPU、延迟 50ms——根本塞不进手机、也扛不住线上 QPS。从"训得出来"到"用得起来"，中间隔着模型压缩与部署这道最后一公里。本篇把量化、剪枝、ONNX 导出串成一条可落地的流水线。

Windows 下 YOLO11 Det 的 TensorRT C++ 部署Windows 下 YOLO11 Det 的 TensorRT C++ 部署摘要：本文介绍如何在 Windows 下使用 TensorRT 10.16 以 C++ 部署 YOLO11 目标检测模型。内容涵盖环境准备（VS2022、CMake、CUDA 12.9、OpenCV 4.8.1、TensorRT）、工程编译与验证、模型导出（FP32/FP16/INT8）与 engine 序列化，以及命令行推理和部署自训练模型的完整流程。实测 C++ 实现推理单帧约 1.4 ms，相比 ultralytics Py

Windows 下 YOLO26 的 TensorRT C++ 部署摘要：本文介绍如何在 Windows 下使用 TensorRT 10.16 以 C++ 部署 YOLO26 目标检测模型。内容涵盖环境准备（VS2022、CMake、CUDA 12.9、OpenCV 4.8.1、TensorRT）、工程编译与验证、模型导出（FP32/FP16/INT8）与 engine 序列化，以及命令行推理和部署自训练模型的完整流程。实测 C++ 实现推理单帧约 1.4 ms，相比 ultralytics Python 推理提升约 14 倍。

LLM 推理引擎三强争霸——vLLM vs SGLang vs TensorRT-LLM副标题： 2026 年的 LLM 推理引擎格局已经清晰——vLLM 是生产部署的事实标准，SGLang 在 Agent 和结构化输出场景独占鳌头，TensorRT-LLM 是 NVIDIA 硬件上的性能天花板。本文从架构哲学、调度策略、KV Cache 管理、编译优化到实测性能，做一次三强全面对比。

爱听歌的周童鞋

YOLO26-Sem推理详解及部署实现Ultralytics 最近更新了 Semantic Segmentation 语义分割任务的支持，本篇文章梳理下 YOLO26-Sem 的预处理和后处理流程，顺便让 tensorRT_Pro 支持 YOLO26-Sem

进击切图仔

微调 qwen 时候踩坑记录在把 Qwen2.5 等大模型真正部署到 GPU 服务器的过程中，环境配置、磁盘管理和推理加速的坑远比想象的多。本文将记录一次完整踩坑经历，覆盖系统盘告急、nvcc 消失、FlashAttention 编译慢、LoRA 合并陷阱、TensorRT 构建与推理等环节，并提供可复现的解决脚本。

（十八）32天GPU测试从入门到精通-TensorRT-LLM 部署与优化day16TensorRT-LLM 是NVIDIA 官方的 LLM 推理优化库，提供业界领先的性能和完整的优化技术栈。作为 NVIDIA 生态的一部分，TensorRT-LLM 深度整合了 NVIDIA GPU 的各项优化技术，从 kernel 级别的融合到多 GPU 通信优化，再到量化支持，提供了一套完整的高性能推理方案。

模型部署优化：ONNX与TensorRT实战——从训练到推理的完整优化链路深度学习模型从实验室到生产环境的部署过程中，推理性能往往是最大的瓶颈。本文系统讲解ONNX（Open Neural Network Exchange）和TensorRT两大核心工具，详细介绍模型转换、推理优化、量化压缩、结构剪枝等关键技术。通过ResNet图像分类模型的完整实战案例，演示如何将模型推理速度提升5-10倍，同时保持精度损失在可接受范围内。读者将掌握模型部署优化的完整方法论，能够在实际项目中实现高效、低成本的模型推理服务。

小米的修行之路

NVIDI核心板cuda, cudnn,tensorrt安装方法1.jetson系列各种型号简介：2.nvidia jetson模块载板：3.cuda, cudnn,tensorrt二次开发包安装：

self-motivation

在jetson thor上高效部署π0.5和yolo模型有2种方法:其中方法2的难点是如何将tensorrt engine与pytorch流程结合起来，如使用pytorch + action DIT engine或者使用pytorch + llm tensorrt engine + action DIT engine

给算法爸爸上香

yolo目标检测线程池高性能视频tensorrt推理（每秒1000+帧）logger.hpreprocess.hpreprocess.cppyolov5.hyolov5.cpp

椒颜皮皮虾

TensorRtSharp：在 C# 世界中释放 GPU 推理的极致性能在深度学习模型部署领域，NVIDIA TensorRT 凭借其卓越的推理性能已成为 GPU 加速的事实标准。根据 NVIDIA 官方数据，使用 TensorRT 进行模型优化和推理加速，通常可以获得：

给算法爸爸上香

yolo tensorrt视频流检测软解码和硬解码项目地址：https://github.com/shouxieai/hard_decode_trt依赖第三方库： cuda-10.2 https://developer.nvidia.com/cuda-10.2-download-archive cudnn8.2.2.26 https://developer.nvidia.com/rdp/cudnn-archive ffmpeg4.2 https://codeload.github.com/FFmpeg/FFmpeg/zip/refs/tags/n4.2

TensorRT介绍与示例代码学习下面的内容会分成几部分来讲：用一句话概括： TensorRT 是 NVIDIA 提供的、面向深度学习推理阶段的高性能优化与执行引擎，专门用来在 NVIDIA GPU 上做高吞吐、低延迟的推理。

模型部分量化后用tensorrt转换engine时遇到的问题模型的python版本推理效果很好，但是导出onnx并用tensorrt解析转换(做了FP16量化)成engine后推理效果稀烂的，输出无数个得分很低且不正确的目标，判断可能是做了FP16量化后模型内部某些地方数据因为精度不够发生了溢出，仔细检查代码，将模型网络里高度可疑的模块及其出入关联部分强制不做FP16量化：

TensorRT-LLM部署Qwen3-14BTensorRT-LLM 官方文档地址：https://nvidia.github.io/TensorRT-LLM/overview.html

TensorRT 10.14.1 初体验：介绍、安装与Demo尝试本文章配套视频：TensorRT 10.14.1 初体验：介绍、安装与Demo尝试本人有偿提供【Window平台上 TensorRT 开发环境搭建】服务，可咨询（练习方式：QQ- 736340716 雪天鱼）小店商品链接：Windows 平台上 TensorRT 开发环境搭建

TensorRT 推理 YOLO Demo 分享（Python）TensorRT 8.6.1；CUDA 11.8；cuDNN 8.6.0；Python：3.11；pytorch-cuda：11.8

TensorRT-LLM 核心技术深度分析报告基于对TensorRT-LLM源码的深入分析，我整理了以下核心技术实现细节和架构设计模式的完整技术报告。