DNN云边协同工作汇总(持续更新)

DNN云边协同工作汇总(持续更新)

云边协同旨在充分利用云边端资源完成DNN任务的推理计算,将整体模型进行划分后,利用终端设备、边缘服务器以及云计算中心的计算资源,将DNN划分为多个部分,分别部署在不同设备上进行推理。

  • 充分利用系统中可用的计算资源
  • 降低输入数据的传输开销

1 DNN Partitioning

DNN Partitioning 主要研究如何对单个DNN任务进行协同推理

1.1 链式拓扑

垂直划分首次由neurosurgeon这篇论文提出,首次提出了云边协同+模型划分的过程来降低模型推理时延。

1.2 DAG拓扑

DADS使用图论中的最大流最小割算法对DAG拓扑结构进行了分析,解决了一部分含有拓扑结构的模型的划分问题。

对于DNN模型推理时延的预测是模型划分中重要的一部分,总结了一些讲解推理时延预测的论文,如下:

1.3 水平划分

对DNN中的某一层进行分段划分,或者像网格一样划分后,使用多个边缘设备并行计算。

2 Task Offloaing

3 DNN Partitioning + Task Offloading

在多个边缘服务器和终端设备组成的云边端系统中,使DNN任务进行合理调度,降低任务完成的平均时延或平均能耗。在进行调度的过程中可以使用垂直划分和水平划分,也可以直接将一个DNN任务作为划分单位。

相关推荐
HPC_fac1305206781620 分钟前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
小陈phd3 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
Guofu_Liao4 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
秀儿还能再秀7 小时前
神经网络(系统性学习三):多层感知机(MLP)
神经网络·学习笔记·mlp·多层感知机
ZHOU_WUYI8 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若1238 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
老艾的AI世界8 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK221518 小时前
机器学习系列----关联分析
人工智能·机器学习
Robot2518 小时前
Figure 02迎重大升级!!人形机器人独角兽[Figure AI]商业化加速
人工智能·机器人·微信公众平台
浊酒南街9 小时前
Statsmodels之OLS回归
人工智能·数据挖掘·回归