深度学习推理框架汇总

深度学习推理框架汇总

  • TensorFlow Serving:TensorFlow Serving 是 TensorFlow 的官方模型服务框架,专门用于部署 TensorFlow 模型。它提供了高性能、可扩展、灵活的模型部署和推理服务。

  • TorchServe:TorchServe 是 PyTorch 官方推出的模型服务框架,用于部署 PyTorch 模型。它支持灵活的模型部署、动态扩缩容、模型版本控制等功能。

  • ONNX Runtime:ONNX Runtime 是一个高性能的推理引擎,专门用于执行 ONNX 格式的模型。它支持跨平台部署,包括 CPU、GPU、移动设备等,并提供了 C++、Python 和 Java 等多种语言的 API。

  • TensorRT:TensorRT 是 NVIDIA 推出的高性能推理引擎,专门针对 NVIDIA GPU 进行了优化。它支持对 TensorFlow、PyTorch、ONNX 等模型进行优化和部署。

  • OpenVINO (Open Visual Inference & Neural Network Optimization):OpenVINO 是英特尔推出的深度学习推理工具包,支持针对英特尔 CPU、GPU、VPU(Vision Processing Unit)等硬件进行优化的推理。

  • TensorRTX:TensorRTX 是英伟达推出的一款基于 TensorRT 的深度学习推理框架,提供了更多的优化和扩展功能,适用于高性能和低延迟的推理需求。

  • NCNN (NVIDIA CUDA Convolutional Neural Networks):NCNN 是一个高效的深度学习推理框架,专门针对移动端和嵌入式设备进行了优化,支持多种硬件平台。

  • MNN (Mobile Neural Network):MNN 是阿里巴巴推出的移动端深度学习推理引擎,支持多种模型格式,并且适用于 Android、iOS 等移动设备。

相关推荐
牙牙要健康10 分钟前
【目标检测】【深度学习】【Pytorch版本】YOLOV3模型算法详解
pytorch·深度学习·目标检测
人工干智能10 分钟前
科普:One-Class SVM和SVDD
人工智能·机器学习·支持向量机
蚝油菜花21 分钟前
DeepSite:基于DeepSeek的开源AI前端开发神器,一键生成游戏/网页代码
人工智能·开源
蚝油菜花21 分钟前
PaperBench:OpenAI开源AI智能体评测基准,8316节点精准考核复现能力
人工智能·开源
蚝油菜花25 分钟前
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频
人工智能·开源
MPCTHU25 分钟前
预测分析(三):基于机器学习的分类预测
人工智能·机器学习·分类
jndingxin32 分钟前
OpenCV 图形API(11)对图像进行掩码操作的函数mask()
人工智能·opencv·计算机视觉
Scc_hy42 分钟前
强化学习_Paper_1988_Learning to predict by the methods of temporal differences
人工智能·深度学习·算法
袁煦丞1 小时前
【亲测】1.5万搞定DeepSeek满血版!本地部署避坑指南+内网穿透黑科技揭秘
人工智能·程序员·远程工作