cd /d D:\project\llama\cv-trt-serve
python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
# cv-trt-serve 依赖 --- 只在「打包机」上装; 目标机只要 NVIDIA 驱动 (DLL 随 exe 携带)
#
# ============================================================
# ★ GPU 栈版本矩阵 --- 装前务必按官方表核对, 别照抄 ★
# ONNX Runtime 的 TensorrtExecutionProvider 对 CUDA/cuDNN/TensorRT 有【精确】版本要求,
# 对不上就 "TensorrtExecutionProvider not available"。原则: 先锁 onnxruntime-gpu 版本,
# 再用它反推其余。查: https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html
# (官方 "Requirements" 表列出该 ORT 版对应的 CUDA/cuDNN/TensorRT)
#
# 下方是一组近期常见可用组合 (ORT 1.19 系), 仅示例:
# ============================================================
# --- GPU 推理核心 (示例组: ORT1.19 ↔ CUDA12 ↔ cuDNN9 ↔ TRT10) ---
onnxruntime-gpu==1.19.2
nvidia-cuda-runtime-cu12==12.*
nvidia-cublas-cu12==12.*
nvidia-cudnn-cu12==9.*
# TensorRT: Windows 上 pip 装不了 (PyPI nvidia-tensorrt 是占位符; pypi.nvidia.com 的 win wheel 停在 beta)。
# 正确做法: NVIDIA 开发者站下载 TensorRT 10.x GA zip → 解压 → 其 lib\ 目录加入 PATH (详见 README §2.2b)。
# https://developer.nvidia.com/tensorrt-get-started (需免费 NVIDIA 账号, 选 "TensorRT 10.x GA ... zip ... Windows")
# --- Web 服务 ---
fastapi==0.115.*
uvicorn[standard]==0.30.*
python-multipart==0.0.*
# --- 图像 ---
opencv-python-headless==4.10.*
numpy<2
# --- OCR (PP-OCR 经 rapidocr; 中文 det+rec+dict) ---
# 纯 python + onnxruntime, 无 Paddle 框架依赖; 权重见 models/ppocr_zh/ 说明
# 代码 run_ppocr 已兼容两代包名; 构建时选其一并按其仓库文档核对最新可用版本:
# rapidocr>=1.4 (统一新包 v3: from rapidocr import RapidOCR)
# rapidocr-onnxruntime (v1: from rapidocr_onnxruntime import RapidOCR)
rapidocr>=1.4
# --- 打包 (仅打包机需要, 目标机不用) ---
pyinstaller==6.*
# 说明:
# - opencv-python-headless: 服务端无人界面, 免带 GUI DLL, exe 更干净。
# - nvidia-* 这些 pip wheel 携带 cudnn*.dll / nvinfer*.dll 等, PyInstaller 据此收进包。
# - 若你平台侧将来用 httpx 直连本服务, httpx 属平台依赖, 不在本服务 requirements。TensorRT 10.x Download | NVIDIA Developer 下载地址
(.venv) D:\project\llama\cv-trt-serve>set PATH=%PATH%;D:\tensorrt\TensorRT-10.16.1.11\lib
(.venv) D:\project\llama\cv-trt-serve>python -c "import onnxruntime as o; print(o.version); print(o.get_available_providers())"
1.19.2
'TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'
set CV_TRT_LIB_DIR=D:\tensorrt\TensorRT-10.16.1.11\lib
pyinstaller cv_trt_serve.spec
下载：