pytorch 模型部署

AI模型部署基本步骤

在训练好模型后,需要将模型进行部署,一般情况下,AI模型部署基本步骤有:

  • 获取模型文件
  • 对模型进行转换,也就是所谓的parse或者convert
  • 针对转换后的模型进行优化,可能涉及很多优化步骤
  • 在特定平台上运行转化后的模型,保障模型的精度、性能

常见的模型部署推理框架:

  • Caffeine,纯c++编写
  • libtorch(torchscript): pytorch的c++版。pytorch训练出来的模型,经员工torch.jit.trace或者torch.jit.script可以导出为.pt格式,随用通过libtorch中的API加载运行。一般结合TensorRT来部署,TensorRT负责简单卷积层等操作部分,libtorch负责后处理等细小复杂op部分。
  • TensorRT,可以再NVIDIA各种GPU硬件平台下运行的c++推理框架。 在GPU服务器上部署的话,TensorRT是首选;
  • openVINO, 在英特尔CPU端(也就是我们常用的x86处理器)部署首选它
  • NCNN/MNN/TNN/TVM,在移动端部署的推理框架,据说NCNN为首选,因其简单、直观明了。
  • paddlepaddle:国产不错的训练和推理框架;

AI部署中提速方法

上述AI模型部署步骤也提到,对模型进行优化,有哪些优化点呢?

  • 模型结构
  • 剪枝
  • 蒸馏
  • 稀疏化训练
  • 量化训练
  • 算子融合、计算图优化
  • 底层优化
1. 模型结构

模型结构主要体现在更快更强的网络结构,比如ResNet相比于VGG,CenterNet相比于YOLOv3。这块没研究透,后续再探;

2. 剪枝

大模型的基础上,对模型通道或者模型结构进行有目的地修剪,剪掉对模型推理贡献不是很重要的地方,保障精度下降很少或者几乎不变。

3. 蒸馏

先用大网络训练,然后再用大网络调教小网络,使小网络接近大网络的精度。

4. 稀疏化

就是随机将tensor中的部分元素置为0,比如常见的dropout,附带正则化作用的同时也减少了模型的容量,从而加快了模型的推理速度。

5. 量化训练

量化训练是在INT8精度的基础上对模型进行量化。简称QTA(Quantization Aware Training)。量化后的模型在特定CPU或者GPU上相比FP32、FP16有更高的速度和吞吐,也是部署提速方法之一。

模型训练后的转换方式

相关推荐
z千鑫7 小时前
【人工智能】深入理解PyTorch:从0开始完整教程!全文注解
人工智能·pytorch·python·gpt·深度学习·ai编程
爱喝热水的呀哈喽7 小时前
torch张量与函数表达式写法
人工智能·pytorch·深度学习
deephub9 小时前
使用 PyTorch-BigGraph 构建和部署大规模图嵌入的完整教程
人工智能·pytorch·深度学习·图嵌入
不高明的骗子10 小时前
【深度学习之一】2024最新pytorch+cuda+cudnn下载安装搭建开发环境
人工智能·pytorch·深度学习·cuda
Sxiaocai11 小时前
使用 PyTorch 实现并训练 VGGNet 用于 MNIST 分类
pytorch·深度学习·分类
糖豆豆今天也要努力鸭15 小时前
torch.__version__的torch版本和conda list的torch版本不一致
linux·pytorch·python·深度学习·conda·torch
uncle_ll15 小时前
PyTorch图像预处理:计算均值和方差以实现标准化
图像处理·人工智能·pytorch·均值算法·标准化
zhangfeng113317 小时前
pytorch 的交叉熵函数,多分类,二分类
人工智能·pytorch·分类
Seeklike17 小时前
11.22 深度学习-pytorch自动微分
人工智能·pytorch·深度学习
YRr YRr18 小时前
如何使用 PyTorch 实现图像分类数据集的加载和处理
pytorch·深度学习·分类