CV 后端打包

cd /d D:\project\llama\cv-trt-serve

python -m venv .venv

.venv\Scripts\activate

pip install -r requirements.txt

复制代码
# cv-trt-serve 依赖 --- 只在「打包机」上装; 目标机只要 NVIDIA 驱动 (DLL 随 exe 携带)
#
# ============================================================
# ★ GPU 栈版本矩阵 --- 装前务必按官方表核对, 别照抄 ★
#   ONNX Runtime 的 TensorrtExecutionProvider 对 CUDA/cuDNN/TensorRT 有【精确】版本要求,
#   对不上就 "TensorrtExecutionProvider not available"。原则: 先锁 onnxruntime-gpu 版本,
#   再用它反推其余。查: https://onnxruntime.ai/docs/execution-providers/TensorRT-ExecutionProvider.html
#   (官方 "Requirements" 表列出该 ORT 版对应的 CUDA/cuDNN/TensorRT)
#
#   下方是一组近期常见可用组合 (ORT 1.19 系), 仅示例:
# ============================================================

# --- GPU 推理核心 (示例组: ORT1.19 ↔ CUDA12 ↔ cuDNN9 ↔ TRT10) ---
onnxruntime-gpu==1.19.2
nvidia-cuda-runtime-cu12==12.*
nvidia-cublas-cu12==12.*
nvidia-cudnn-cu12==9.*
# TensorRT: Windows 上 pip 装不了 (PyPI nvidia-tensorrt 是占位符; pypi.nvidia.com 的 win wheel 停在 beta)。
# 正确做法: NVIDIA 开发者站下载 TensorRT 10.x GA zip → 解压 → 其 lib\ 目录加入 PATH (详见 README §2.2b)。
#   https://developer.nvidia.com/tensorrt-get-started  (需免费 NVIDIA 账号, 选 "TensorRT 10.x GA ... zip ... Windows")

# --- Web 服务 ---
fastapi==0.115.*
uvicorn[standard]==0.30.*
python-multipart==0.0.*

# --- 图像 ---
opencv-python-headless==4.10.*
numpy<2

# --- OCR (PP-OCR 经 rapidocr; 中文 det+rec+dict) ---
# 纯 python + onnxruntime, 无 Paddle 框架依赖; 权重见 models/ppocr_zh/ 说明
# 代码 run_ppocr 已兼容两代包名; 构建时选其一并按其仓库文档核对最新可用版本:
#   rapidocr>=1.4          (统一新包 v3: from rapidocr import RapidOCR)
#   rapidocr-onnxruntime   (v1:         from rapidocr_onnxruntime import RapidOCR)
rapidocr>=1.4

# --- 打包 (仅打包机需要, 目标机不用) ---
pyinstaller==6.*

# 说明:
#  - opencv-python-headless: 服务端无人界面, 免带 GUI DLL, exe 更干净。
#  - nvidia-* 这些 pip wheel 携带 cudnn*.dll / nvinfer*.dll 等, PyInstaller 据此收进包。
#  - 若你平台侧将来用 httpx 直连本服务, httpx 属平台依赖, 不在本服务 requirements。

TensorRT 10.x Download | NVIDIA Developer 下载地址

(.venv) D:\project\llama\cv-trt-serve>set PATH=%PATH%;D:\tensorrt\TensorRT-10.16.1.11\lib

(.venv) D:\project\llama\cv-trt-serve>python -c "import onnxruntime as o; print(o.version); print(o.get_available_providers())"

1.19.2

'TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider'

set CV_TRT_LIB_DIR=D:\tensorrt\TensorRT-10.16.1.11\lib

pyinstaller cv_trt_serve.spec

下载:

https://nssm.cc/release/nssm-2.24.zip

相关推荐
吴佳浩19 分钟前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_094 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区5 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔6 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区6 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1236 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI6 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健6 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV7 小时前
Google 重返第一梯队
人工智能·google·aigc