深度学习推理框架汇总

深度学习推理框架汇总

  • TensorFlow Serving:TensorFlow Serving 是 TensorFlow 的官方模型服务框架,专门用于部署 TensorFlow 模型。它提供了高性能、可扩展、灵活的模型部署和推理服务。

  • TorchServe:TorchServe 是 PyTorch 官方推出的模型服务框架,用于部署 PyTorch 模型。它支持灵活的模型部署、动态扩缩容、模型版本控制等功能。

  • ONNX Runtime:ONNX Runtime 是一个高性能的推理引擎,专门用于执行 ONNX 格式的模型。它支持跨平台部署,包括 CPU、GPU、移动设备等,并提供了 C++、Python 和 Java 等多种语言的 API。

  • TensorRT:TensorRT 是 NVIDIA 推出的高性能推理引擎,专门针对 NVIDIA GPU 进行了优化。它支持对 TensorFlow、PyTorch、ONNX 等模型进行优化和部署。

  • OpenVINO (Open Visual Inference & Neural Network Optimization):OpenVINO 是英特尔推出的深度学习推理工具包,支持针对英特尔 CPU、GPU、VPU(Vision Processing Unit)等硬件进行优化的推理。

  • TensorRTX:TensorRTX 是英伟达推出的一款基于 TensorRT 的深度学习推理框架,提供了更多的优化和扩展功能,适用于高性能和低延迟的推理需求。

  • NCNN (NVIDIA CUDA Convolutional Neural Networks):NCNN 是一个高效的深度学习推理框架,专门针对移动端和嵌入式设备进行了优化,支持多种硬件平台。

  • MNN (Mobile Neural Network):MNN 是阿里巴巴推出的移动端深度学习推理引擎,支持多种模型格式,并且适用于 Android、iOS 等移动设备。

相关推荐
普if加的帕30 分钟前
java Springboot使用扣子Coze实现实时音频对话智能客服
java·开发语言·人工智能·spring boot·实时音视频·智能客服
KoiC39 分钟前
Dify接入RAGFlow无返回结果
人工智能·ai应用
lilye661 小时前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
盈达科技1 小时前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能
安冬的码畜日常1 小时前
【AI 加持下的 Python 编程实战 2_10】DIY 拓展:从扫雷小游戏开发再探问题分解与 AI 代码调试能力(中)
开发语言·前端·人工智能·ai·扫雷游戏·ai辅助编程·辅助编程
古希腊掌管学习的神1 小时前
[LangGraph教程]LangGraph04——支持人机协作的聊天机器人
人工智能·语言模型·chatgpt·机器人·agent
FIT2CLOUD飞致云1 小时前
问答页面支持拖拽和复制粘贴文件,MaxKB企业级AI助手v1.10.6 LTS版本发布
人工智能·开源
起个破名想半天了1 小时前
计算机视觉cv入门之答题卡自动批阅
人工智能·opencv·计算机视觉
早睡早起吧1 小时前
目标检测篇---Fast R-CNN
人工智能·目标检测·计算机视觉·cnn
爱喝奶茶的企鹅2 小时前
Ethan独立开发产品日报 | 2025-04-24
人工智能·程序员·开源