DNN云边协同工作汇总(持续更新)

DNN云边协同工作汇总(持续更新)

云边协同旨在充分利用云边端资源完成DNN任务的推理计算,将整体模型进行划分后,利用终端设备、边缘服务器以及云计算中心的计算资源,将DNN划分为多个部分,分别部署在不同设备上进行推理。

  • 充分利用系统中可用的计算资源
  • 降低输入数据的传输开销

1 DNN Partitioning

DNN Partitioning 主要研究如何对单个DNN任务进行协同推理

1.1 链式拓扑

垂直划分首次由neurosurgeon这篇论文提出,首次提出了云边协同+模型划分的过程来降低模型推理时延。

1.2 DAG拓扑

DADS使用图论中的最大流最小割算法对DAG拓扑结构进行了分析,解决了一部分含有拓扑结构的模型的划分问题。

对于DNN模型推理时延的预测是模型划分中重要的一部分,总结了一些讲解推理时延预测的论文,如下:

1.3 水平划分

对DNN中的某一层进行分段划分,或者像网格一样划分后,使用多个边缘设备并行计算。

2 Task Offloaing

3 DNN Partitioning + Task Offloading

在多个边缘服务器和终端设备组成的云边端系统中,使DNN任务进行合理调度,降低任务完成的平均时延或平均能耗。在进行调度的过程中可以使用垂直划分和水平划分,也可以直接将一个DNN任务作为划分单位。

相关推荐
巴里巴气2 分钟前
安装GPU版本的Pytorch
人工智能·pytorch·python
「、皓子~12 分钟前
后台管理系统的诞生 - 利用AI 1天完成整个后台管理系统的微服务后端+前端
前端·人工智能·微服务·小程序·go·ai编程·ai写作
笑衬人心。1 小时前
初学Spring AI 笔记
人工智能·笔记·spring
luofeiju1 小时前
RGB下的色彩变换:用线性代数解构色彩世界
图像处理·人工智能·opencv·线性代数
测试者家园1 小时前
基于DeepSeek和crewAI构建测试用例脚本生成器
人工智能·python·测试用例·智能体·智能化测试·crewai
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
大模型真好玩1 小时前
准确率飙升!Graph RAG如何利用知识图谱提升RAG答案质量(四)——微软GraphRAG代码实战
人工智能·python·mcp
Baihai_IDP1 小时前
vec2text 技术已开源!一定条件下,文本嵌入向量可“近乎完美地”还原
人工智能·面试·llm
江太翁1 小时前
Pytorch torch
人工智能·pytorch·python
拓端研究室2 小时前
专题:2025即时零售与各类人群消费行为洞察报告|附400+份报告PDF、原数据表汇总下载
大数据·人工智能