模型部署踩坑(持续更新ing)

文章目录

模型部署踩坑

踩坑1

FLOPs不能衡量模型性能,因为FLOPs只是模型计算大小的单位

还需要考虑

  • 访存量
  • 跟计算无关的DNN部分(reshape, shortcut, nchw2nhwc等等)
  • DNN以外的部分(前处理、后处理这些)

踩坑2

不能够完全依靠TensorRT

TensorRT可以对模型做适当的优化,但是有上限

  • 计算密度低的1x1 conv, depthwise conv不会重构
  • GPU无法优化的地方会到CPU执行(可以手动修改代码实现部分,让部分cpu执行转到gpu执行)
  • 有些冗长的计算,TensorRT可能不能优化(直接修改代码实现部分)
  • 存在TensorRT尚未支持的算子(可以自己写plugin)
  • TensorRT不一定会分配Tensor Core(因为TensorRT kernel auto tuning会选择最合适的kernel)

踩坑3

CUDA Core和Tensor Core的使用

有的时候TensorRT并不会分配Tensor Core

  • kernel auto tuning自动选择最优解
  • 所以有时会出现类似于INT8的速度比FP16反而慢了
  • 使用Tensor Core需要让tensor size为8或者16的倍数

踩坑4

不能忽视 前处理/后处理 的overhead

  • 对于一些轻量的模型,相比于DNN推理部分,前处理/后处理可能会更耗时间
  • 因为有些前处理/后处理的复杂逻辑不适合GPU并行

解决办法:

  • 可以把前处理/后处理中可并行的地方拿出来让GPU并行(比如RGB2BGR, Normalization, resize,crop, NCHW2NHWC)
  • 可以在cpu上使用一些针对图像处理的优化库
    比如Halide(使用Halide进行blur, resize, crop, DBSCAN, sobel这些会比CPU快)

踩坑5

对使用TensorRT得到的推理引擎做benchmark和profiling

  • 使用TensorRT得到推理引擎并实现infer只是优化的第一步

  • 需要使用NVIDIA提供的benchmark tools进行profiling

    分析模型瓶颈在哪里

    分析模型可进一步优化的地方在哪里

    分析模型中多余的memory access在哪里

可以使用nsys, nvprof, dlprof, Nsight这些工具

相关推荐
Francek Chen8 分钟前
【深度学习计算机视觉】12:风格迁移
人工智能·pytorch·深度学习·计算机视觉·风格迁移
拓端研究室9 分钟前
专题:2025年AI Agent智能体行业价值及应用分析报告:核心趋势、经济影响与治理框架|附700+份报告PDF、数据仪表盘汇总下载
人工智能
2501_9307992411 分钟前
访答个人知识库,浏览器。Al编辑器,云知识库,RAG,企业知识库,本地知识库,访答编辑器,云知识库,私有知识库,Pdf转Word,……
人工智能
猫头虎14 分钟前
OpenAI发布构建AI智能体的实践指南:实用框架、设计模式与最佳实践解析
人工智能·设计模式·开源·aigc·交互·pip·ai-native
jie*15 分钟前
小杰深度学习(seventeen)——视觉-经典神经网络——MObileNetV3
人工智能·python·深度学习·神经网络·numpy·matplotlib
好奇龙猫16 分钟前
【学习AI-相关路程-mnist手写数字分类-一段学习的结束:自我学习AI-复盘-代码-了解原理-综述(5) 】
人工智能·学习·分类
A-大程序员18 分钟前
【Pytorch】分类问题交叉熵
人工智能·pytorch·分类
一车小面包20 分钟前
基于bert-base-chinese的外卖评论情绪分类项目
人工智能·机器学习
wu_jing_sheng021 分钟前
ai 作物分类
人工智能·分类·数据挖掘
董建光d23 分钟前
PyTorch 实现多种 CNN 模型并采用集成方法提升 CIFAR-10 分类性能
人工智能·pytorch·cnn