高并发神经网络推理部署

高并发的神经网络推理框架部署

highport 是一款封装神经网络推理的高并发的软件架构,已在ESWEEK 2023年皮肤病检测比赛中获得第一名。
这里记录一下highport的软件架构和几个trick优化

软件架构图

解密模块:我们训练完的模型文件是带加密的,为了防止被其他个人盗用,加密方式采用密码与权重文件的二进制内容进行异或计算,解密出来的文件进行md5校验,如果与预测的md5校验就说明解密正确。

创建文件索引模块:把要进行推理的图片路径与文件名存入table,用数字进行索引,极大缩短读取文件的索引时间。

并发处理模块:若只有一个cpu核且执行任务过程无阻塞,那么线程的并发处理任务的效率会低于单线程处理任务效率,因为多线程需要开销任务栈、调度和锁。由于所需的硬件平台是4核cpu,所以只开创4个线程并发,这样的效率最高。

图片处理模块:加载四个模型的推理效率比加载一个模型在四个cpu并发锁保护效率高。

相关推荐
想要成为计算机高手23 分钟前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道1 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.02 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12012 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师2 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen2 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域2 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木2 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
码字的字节3 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄12133 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm