高并发神经网络推理部署

高并发的神经网络推理框架部署

highport 是一款封装神经网络推理的高并发的软件架构,已在ESWEEK 2023年皮肤病检测比赛中获得第一名。
这里记录一下highport的软件架构和几个trick优化

软件架构图

解密模块:我们训练完的模型文件是带加密的,为了防止被其他个人盗用,加密方式采用密码与权重文件的二进制内容进行异或计算,解密出来的文件进行md5校验,如果与预测的md5校验就说明解密正确。

创建文件索引模块:把要进行推理的图片路径与文件名存入table,用数字进行索引,极大缩短读取文件的索引时间。

并发处理模块:若只有一个cpu核且执行任务过程无阻塞,那么线程的并发处理任务的效率会低于单线程处理任务效率,因为多线程需要开销任务栈、调度和锁。由于所需的硬件平台是4核cpu,所以只开创4个线程并发,这样的效率最高。

图片处理模块:加载四个模型的推理效率比加载一个模型在四个cpu并发锁保护效率高。

相关推荐
美狐美颜sdk1 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程1 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
有Li1 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
郭庆汝1 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
IT古董1 小时前
【第二章:机器学习与神经网络概述】03.类算法理论与实践-(3)决策树分类器
神经网络·算法·机器学习
小雷FansUnion3 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周3 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享4 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜4 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿4 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程