DNN云边协同工作汇总(持续更新)

DNN云边协同工作汇总(持续更新)

云边协同旨在充分利用云边端资源完成DNN任务的推理计算,将整体模型进行划分后,利用终端设备、边缘服务器以及云计算中心的计算资源,将DNN划分为多个部分,分别部署在不同设备上进行推理。

  • 充分利用系统中可用的计算资源
  • 降低输入数据的传输开销

1 DNN Partitioning

DNN Partitioning 主要研究如何对单个DNN任务进行协同推理

1.1 链式拓扑

垂直划分首次由neurosurgeon这篇论文提出,首次提出了云边协同+模型划分的过程来降低模型推理时延。

1.2 DAG拓扑

DADS使用图论中的最大流最小割算法对DAG拓扑结构进行了分析,解决了一部分含有拓扑结构的模型的划分问题。

对于DNN模型推理时延的预测是模型划分中重要的一部分,总结了一些讲解推理时延预测的论文,如下:

1.3 水平划分

对DNN中的某一层进行分段划分,或者像网格一样划分后,使用多个边缘设备并行计算。

2 Task Offloaing

3 DNN Partitioning + Task Offloading

在多个边缘服务器和终端设备组成的云边端系统中,使DNN任务进行合理调度,降低任务完成的平均时延或平均能耗。在进行调度的过程中可以使用垂直划分和水平划分,也可以直接将一个DNN任务作为划分单位。

相关推荐
音视频牛哥38 分钟前
打通视频到AI的第一公里:轻量RTSP服务如何重塑边缘感知入口?
人工智能·计算机视觉·音视频·大牛直播sdk·机器视觉·轻量级rtsp服务·ai人工智能
Wendy14412 小时前
【灰度实验】——图像预处理(OpenCV)
人工智能·opencv·计算机视觉
中杯可乐多加冰2 小时前
五大低代码平台横向深度测评:smardaten 2.0领衔AI原型设计
人工智能
无线图像传输研究探索2 小时前
单兵图传终端:移动场景中的 “实时感知神经”
网络·人工智能·5g·无线图传·5g单兵图传
zzywxc7873 小时前
AI在编程、测试、数据分析等领域的前沿应用(技术报告)
人工智能·深度学习·机器学习·数据挖掘·数据分析·自动化·ai编程
铭keny3 小时前
YOLOv8 基于RTSP流目标检测
人工智能·yolo·目标检测
墨尘游子4 小时前
11-大语言模型—Transformer 盖楼,BERT 装修,RoBERTa 直接 “拎包入住”|预训练白话指南
人工智能·语言模型·自然语言处理
金井PRATHAMA4 小时前
主要分布于内侧内嗅皮层的层Ⅲ的网格-速度联合细胞(Grid × Speed Conjunctive Cells)对NLP中的深层语义分析的积极影响和启示
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·知识图谱
天道哥哥4 小时前
InsightFace(RetinaFace + ArcFace)人脸识别项目(预训练模型,鲁棒性很好)
人工智能·目标检测
幻风_huanfeng5 小时前
学习人工智能所需知识体系及路径详解
人工智能·学习