DNN云边协同工作汇总(持续更新)

DNN云边协同工作汇总(持续更新)

云边协同旨在充分利用云边端资源完成DNN任务的推理计算,将整体模型进行划分后,利用终端设备、边缘服务器以及云计算中心的计算资源,将DNN划分为多个部分,分别部署在不同设备上进行推理。

  • 充分利用系统中可用的计算资源
  • 降低输入数据的传输开销

1 DNN Partitioning

DNN Partitioning 主要研究如何对单个DNN任务进行协同推理

1.1 链式拓扑

垂直划分首次由neurosurgeon这篇论文提出,首次提出了云边协同+模型划分的过程来降低模型推理时延。

1.2 DAG拓扑

DADS使用图论中的最大流最小割算法对DAG拓扑结构进行了分析,解决了一部分含有拓扑结构的模型的划分问题。

对于DNN模型推理时延的预测是模型划分中重要的一部分,总结了一些讲解推理时延预测的论文,如下:

1.3 水平划分

对DNN中的某一层进行分段划分,或者像网格一样划分后,使用多个边缘设备并行计算。

2 Task Offloaing

3 DNN Partitioning + Task Offloading

在多个边缘服务器和终端设备组成的云边端系统中,使DNN任务进行合理调度,降低任务完成的平均时延或平均能耗。在进行调度的过程中可以使用垂直划分和水平划分,也可以直接将一个DNN任务作为划分单位。

相关推荐
右恩11 分钟前
AI大模型重塑软件开发:流程革新与未来展望
人工智能
图片转成excel表格31 分钟前
WPS Office Excel 转 PDF 后图片丢失的解决方法
人工智能·科技·深度学习
ApiHug1 小时前
ApiSmart x Qwen2.5-Coder 开源旗舰编程模型媲美 GPT-4o, ApiSmart 实测!
人工智能·spring boot·spring·ai编程·apihug
哇咔咔哇咔2 小时前
【科普】简述CNN的各种模型
人工智能·神经网络·cnn
李歘歘2 小时前
万字长文解读深度学习——多模态模型CLIP、BLIP、ViLT
人工智能·深度学习
Chatopera 研发团队2 小时前
机器学习 - 为 Jupyter Notebook 安装新的 Kernel
人工智能·机器学习·jupyter
IT古董2 小时前
【机器学习】数学知识:标准差,方差,协方差,平均数,中位数,众数
人工智能·数学·机器学习
宋一诺332 小时前
机器学习—为什么我们需要激活函数
人工智能·机器学习
Tony聊跨境2 小时前
什么是 ISP:了解互联网服务提供商的作用
网络·人工智能·isp