深度学习推理框架汇总

深度学习推理框架汇总

  • TensorFlow Serving:TensorFlow Serving 是 TensorFlow 的官方模型服务框架,专门用于部署 TensorFlow 模型。它提供了高性能、可扩展、灵活的模型部署和推理服务。

  • TorchServe:TorchServe 是 PyTorch 官方推出的模型服务框架,用于部署 PyTorch 模型。它支持灵活的模型部署、动态扩缩容、模型版本控制等功能。

  • ONNX Runtime:ONNX Runtime 是一个高性能的推理引擎,专门用于执行 ONNX 格式的模型。它支持跨平台部署,包括 CPU、GPU、移动设备等,并提供了 C++、Python 和 Java 等多种语言的 API。

  • TensorRT:TensorRT 是 NVIDIA 推出的高性能推理引擎,专门针对 NVIDIA GPU 进行了优化。它支持对 TensorFlow、PyTorch、ONNX 等模型进行优化和部署。

  • OpenVINO (Open Visual Inference & Neural Network Optimization):OpenVINO 是英特尔推出的深度学习推理工具包,支持针对英特尔 CPU、GPU、VPU(Vision Processing Unit)等硬件进行优化的推理。

  • TensorRTX:TensorRTX 是英伟达推出的一款基于 TensorRT 的深度学习推理框架,提供了更多的优化和扩展功能,适用于高性能和低延迟的推理需求。

  • NCNN (NVIDIA CUDA Convolutional Neural Networks):NCNN 是一个高效的深度学习推理框架,专门针对移动端和嵌入式设备进行了优化,支持多种硬件平台。

  • MNN (Mobile Neural Network):MNN 是阿里巴巴推出的移动端深度学习推理引擎,支持多种模型格式,并且适用于 Android、iOS 等移动设备。

相关推荐
点云SLAM22 分钟前
25个自动化办公脚本合集(覆盖人工智能、数据处理、文档管理、图片处理、文件操作等)
人工智能·python·自动化·文件操作·自动化办公脚本·ai 聊天机器人·url 短链接生成器
巫婆理发22224 分钟前
浅层神经网络
人工智能·深度学习·神经网络
liliangcsdn30 分钟前
Mac M1探索AnythingLLM+SearXNG
人工智能·docker·云原生·eureka
未来之窗软件服务42 分钟前
自建知识库,向量数据库 体系建设(二)之BERT 与.NET 8
人工智能·深度学习·bert·知识库·向量数据库·仙盟创梦ide·东方仙盟
Focusbe1 小时前
从0到1开发一个AI助手
前端·人工智能·面试
算家计算1 小时前
一张图生成3A级游戏画面!腾讯混元全新开源Hunyuan-GameCraft
人工智能·开源·游戏开发
机器之心1 小时前
全网最懂图文调研的智能体模型震撼上线,看完我直接卸了浏览器
人工智能·openai
zskj_zhyl1 小时前
邯郸市2025年居家适老化改造“焕新”补贴:为银龄生活筑牢安全与温情
人工智能·安全·机器人·生活
2401_823868221 小时前
织构表面MATLAB仿真
人工智能·机器学习·matlab·信号处理
霖001 小时前
高级项目——基于FPGA的串行FIR滤波器
人工智能·经验分享·matlab·fpga开发·信息与通信·信号处理