高并发神经网络推理部署

高并发的神经网络推理框架部署

highport 是一款封装神经网络推理的高并发的软件架构,已在ESWEEK 2023年皮肤病检测比赛中获得第一名。
这里记录一下highport的软件架构和几个trick优化

软件架构图

解密模块:我们训练完的模型文件是带加密的,为了防止被其他个人盗用,加密方式采用密码与权重文件的二进制内容进行异或计算,解密出来的文件进行md5校验,如果与预测的md5校验就说明解密正确。

创建文件索引模块:把要进行推理的图片路径与文件名存入table,用数字进行索引,极大缩短读取文件的索引时间。

并发处理模块:若只有一个cpu核且执行任务过程无阻塞,那么线程的并发处理任务的效率会低于单线程处理任务效率,因为多线程需要开销任务栈、调度和锁。由于所需的硬件平台是4核cpu,所以只开创4个线程并发,这样的效率最高。

图片处理模块:加载四个模型的推理效率比加载一个模型在四个cpu并发锁保护效率高。

相关推荐
qzhqbb3 分钟前
基于 Transformer 的语言模型
人工智能·语言模型·自然语言处理·transformer
___Dream4 分钟前
【CTFN】基于耦合翻译融合网络的多模态情感分析的层次学习
人工智能·深度学习·机器学习·transformer·人机交互
极客代码11 分钟前
【Python TensorFlow】入门到精通
开发语言·人工智能·python·深度学习·tensorflow
义小深13 分钟前
TensorFlow|咖啡豆识别
人工智能·python·tensorflow
Tianyanxiao1 小时前
如何利用探商宝精准营销,抓住行业机遇——以AI技术与大数据推动企业信息精准筛选
大数据·人工智能·科技·数据分析·深度优先·零售
撞南墙者1 小时前
OpenCV自学系列(1)——简介和GUI特征操作
人工智能·opencv·计算机视觉
OCR_wintone4211 小时前
易泊车牌识别相机,助力智慧工地建设
人工智能·数码相机·ocr
王哈哈^_^1 小时前
【数据集】【YOLO】【VOC】目标检测数据集,查找数据集,yolo目标检测算法详细实战训练步骤!
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·pyqt
一者仁心1 小时前
【AI技术】PaddleSpeech
人工智能
是瑶瑶子啦2 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换