神经网络的模型部署是将训练好的神经网络模型应用到实际系统中，以实现预测、分类、推荐等任务的过程。下图展示了模型从训练到部署的整个流程：
1.模型部署的平台
- 在线服务器端部署
在线服务器端部署适用于处理大模型、需要精度优先的应用场景，并且对延迟不敏感的情况。通过服务器端的强大计算资源，可以高效运行复杂模型，确保推理的准确性，而延迟的容忍度使得这些模型能够在不追求即时响应的场景中发挥最佳性能。
- 离线嵌入式部署
离线嵌入式部署适用于小型模型、对实时性要求高、并且对计算资源和功耗有限的场景。通常在设备端（如移动设备、物联网设备、机器人等）运行模型，不依赖网络连接，适合需要低延迟、高响应速度的应用。这类部署强调模型的轻量化、快速推理和节省资源，常见技术包括模型量化、剪枝等，用于优化模型在资源受限环境中的运行效率。
2.模型部署的方式
常见的模型部署方式主要分为以下四种：
- 原始训练框架部署
模型在与其训练时相同的框架中直接部署和使用。它保持了模型在开发阶段的完整性，并且能够利用框架提供的高阶API进行推理。适合快速部署，尤其是实验和原型阶段，但可能在性能和优化上不是最佳选择。例如：使用TensorFlow、PyTorch直接部署并进行推理。
- 训练框架的部署引擎
训练框架提供的专用部署工具或引擎，优化了模型在生产环境中的性能。这些引擎通常包含针对特定硬件或应用场景的优化，可以在保持框架兼容性的同时提高推理速度和效率，但只支持自己训练框架的模型。例如：TF-Lite,Pytorch-Mobile等。
- 手动模型重构
将模型从原始训练框架导出并手动转换或重构为其他格式，进行定制化的优化部署。适用于跨平台或者特定硬件的优化部署，特别是需要极致的性能优化或资源节省时，开发者可以根据目标环境手动调整和重构模型。例如：将PyTorch模型导出为ONNX格式并手动优化推理代码。
- 专用的推理引擎
利用专门为推理优化的引擎，这些引擎通常针对特定硬件（如GPU、TPU、嵌入式设备等）进行了高度优化，以最大限度提高推理效率、减少延迟或降低功耗。常常用于需要极高性能、低功耗或部署到硬件受限的场景。例如：NCNN,MNN,Tengine等。主流的移动端推理框架对比如下图
参考：