DNN云边协同工作汇总(持续更新)

DNN云边协同工作汇总(持续更新)

云边协同旨在充分利用云边端资源完成DNN任务的推理计算，将整体模型进行划分后，利用终端设备、边缘服务器以及云计算中心的计算资源，将DNN划分为多个部分，分别部署在不同设备上进行推理。

• 充分利用系统中可用的计算资源
• 降低输入数据的传输开销

1 DNN Partitioning

DNN Partitioning 主要研究如何对单个DNN任务进行协同推理

1.1 链式拓扑

垂直划分首次由neurosurgeon这篇论文提出，首次提出了云边协同+模型划分的过程来降低模型推理时延。

• Collaborative Intelligence Between the Cloud and Mobile Edge（Neurosurgeon）
  • 2017
  • 出自期刊 ASPLOS 级别 CCF-A
  • 智能划分、云边协同
• Context-aware Adaptive Surgery- A Fast and Effective Framework（CAS）
  • 2021
  • 提出了基于Kd树最近邻搜索的GADS算法，作为CAS的核心。
• Enabling Cooperative Inference of Deep Learning on Wearables and Smartphones （CoINF）
  • 2017
  • 预测模型时延构建，有参考价值，写的比较详细；安卓系统实现原型 + 可穿戴设备。
• IONN- Incremental Offloading of Neural Network Computations from Mobile Devices to Edge Servers（IONN）
  • 2018
  • 出自SoCC 级别为CCF-B
  • 关注了模型传输，对DNN模型进行分区并增量上传-协同执行。
• An adaptive DNN inference acceleration framework with end--edge--cloud collaborative computing （ADAF）
  • 2023
  • 云-边-端联合协同计算。

1.2 DAG拓扑

DADS使用图论中的最大流最小割算法对DAG拓扑结构进行了分析，解决了一部分含有拓扑结构的模型的划分问题。

• Dynamic Adaptive DNN Surgery for Inference Acceleration on the Edge（DADS）

  • 2019
  • 出自INFOCOM，级别为CCF-A
  • 在边缘设备和云服务器之间划分，用图论解决resnet等非链式结构。

• DNN Real-Time Collaborative Inference Acceleration with Mobile Edge Computing（CIC）

  • 2022
  • 出自IJCNN，级别为CCF-C
  • 模型压缩+优化方法来提高模型划分的效率，减少模型划分的决策时间。

• Mobility-Included DNN Partition Offloading from Mobile Devices to Edge Clouds（MDPO）

  • 2021
  • 出一种包含移动性的DNN分区卸载算法(MDPO)，最小化完成DNN作业的总延迟。

• MODI: Mobile Deep Inference Made Efficient by Edge Computing（MODI）

  • 2018
  • 提出了可行方案，但没有具体研究： 1) 运行时动态选择最佳模型。 2) 在边缘服务器上存储高质量的模型 3) 定期在边缘位置更新模型，保证低时延。

• BranchyNet: Fast Inference via Early Exiting from Deep Neural Networks

  • 讲解了DNN模型的提前退出机制

• Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy（Edgent）

  • 2018
  • 出自SIGCOMM，级别为CCF-A
  • 使用提前退出机制，降低DNN云边协同推理的端到端时延。

• Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing（Edgent）

  • 2019
  • 出自TWC，级别为CCF-B
  • 在2018版本上加入了对于动态网络的适应性

• On-demand inference acceleration for directed acyclic graph neural networks over edge-cloud collaboration（EDDI）

  • 2023
  • 出自JPDC，级别为CCF-B
  • 可以认为是结合了DADS + BranchyNet算法，使算法能够适应DAG拓扑结构。

对于DNN模型推理时延的预测是模型划分中重要的一部分，总结了一些讲解推理时延预测的论文，如下：

• inference latency prediction at the edge
• nn-Meter: Towards Accurate Latency Prediction of Deep-Learning Model Inference on Diverse Edge Devices
• Pruning convolutional neural networks for resource efficient inference
• PALEO: A performance model for deep neural networks
• Predicting Latency of Neural Network Inference

1.3 水平划分

对DNN中的某一层进行分段划分，或者像网格一样划分后，使用多个边缘设备并行计算。

• Modnn: Local distributed mobile computing system for deep neural network（MoDNN）
  • 2017
  • 出自DATE，级别为CCF-B
  • 分布式+CNN逐层并行计算
• Adaptive parallel execution of deep neural networks on heterogeneous edge device（AOFL）
  • 2019
  • 出自SEC，级别为CCF-A
  • 分布式+CNN逐层并行计算
• Distributed inference acceleration with adaptive DNN partitioning and offloading（DINA）
  • 2020
  • 出自INFOCOM，级别为CCF-A
  • 根据每个ES的计算资源和可用的ES的数量灵活的划分输入张量；沿最大边进行划分；使用匹配理论解决问题。
• DeepSlicing: COllaborative and adaptive CNN inference with low latency
  • 2021
  • 出自TPDS，级别为CCF-A
  • 分布式 + fusion block 融合块并行计算。
• DeepThings: Distributed adaptive deep learning inference on resource-constrained IoT edge clusters
  • 2018
  • 出自TCAD，级别为CCF-B
  • DeepThings中的单个任务涉及整个CNN，导致重叠计算和冗余任务；通过划分DNN layer 实现并行加速。
• Collaborative edge computing for distributed CNN inference acceleration using receptive field-based segmentation
  • 2022
  • 出自CN，级别为CCF-B
  • 使用动态规划解决融合块的选取问题；使用贪心策略实现边缘设备的挑选。

2 Task Offloaing

• "DRL + FL": An intelligent resource allocation model based on deep reinforcement learning for Mobile Edge Computing

  • 2020
  • 本篇论文的关注点在于使用DDQN算法与联邦学习结合解决边缘移动网络中的资源分配问题
  • 提升了系统平均服务延迟、平均能耗以及负载均衡的问题

• Accuracy-Guaranteed Collaborative DNN Inference in Industrial IoT via Deep Reinforcement Learning

  • 2020 TII - CCFC
  • 主要考虑了采样率自适应问题（调整输入数据）。 1）将问题表述为约束马尔可夫决策过程(CMDP)，综合考虑了推理任务卸载和边缘计算资源分配。 2）通过一般强化学习(RL)算法直接求解。
  • 虽然是应用于工业物联网场景，但是对于模型调度和计算资源分配还是一篇非常值得读的论文，以及其中如何用强化学习构建场景的过程。

• Deep Reinforcement Learning-Based Task Offloading and Resource Allocation for Industrial IoT in MEC Federation System

  • IEEE Access 2023
  • 联合卸载决策和资源分配问题
  • 建模称为马尔科夫决策过程，使用DDPG-PER进行解决

• Partition placement and resource allocation for multiple DNN-based applications in heterogeneous IoT environments

  • 2023

  • 主要讲解分区放置DNN模型

• Deep Reinforcement Learning Based ComputationOffloading and Trajectory Planning for Multi-UAV Cooperative Target Search

  • 2023 IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS
  • 新兴的边缘计算技术可以通过将任务卸载到地面边缘服务器来缓解这一问题。如何评估搜索过程以做出最优卸载决策和最优飞行轨迹是基础研究的挑战。
  • 提出了一种基于深度强化学习(DRL)的多无人机协同目标搜索计算卸载决策和飞行方向选择优化方法。

• Deep Reinforcement Learning Based Dynamic Trajectory Control for UAV-Assisted Mobile Edge Computing

  • 2022 IEEE TRANSACTIONS ON MOBILE COMPUTING
  • 考虑了一个飞行移动边缘计算平台，其中UAV作为提供计算资源的设备，并使任务从UE上卸载。
  • 提出了一种基于凸优化的轨迹控制算法(CAT)，该算法采用块坐标下降法(BCD)以迭代的方式。
  • 为了在考虑环境动态的情况下进行实时决策，我们提出了一种基于深度强化学习的轨迹控制算法(RAT)。

3 DNN Partitioning + Task Offloading

在多个边缘服务器和终端设备组成的云边端系统中，使DNN任务进行合理调度，降低任务完成的平均时延或平均能耗。在进行调度的过程中可以使用垂直划分和水平划分，也可以直接将一个DNN任务作为划分单位。

• Fine-grained Cloud Edge Collaborative Dynamic Task Scheduling Based on DNN Layer-Partitioning（DLPDTS）

  • 2022
  • 出自MSN，级别为CCF-C
  • 提出了一种基于DLP的云边协同细粒度动态任务调度机制，该机制包括DLP选点算法和动态任务调度算法两部分。

• Joint optimization of DNN partition and scheduling for mobile cloud computing（JPS）

  • 2021
  • 出自CCFB会议 ICCP
  • 研究了如何在连续任务情况下通过二分查找寻找最优划分策略
  • 证明了连续任务场景中最优策略的选择不是一成不变的

• Joint Optimization of DNN Partition and Continuous Task Scheduling for Digital Twin-Aided MEC Network With Deep Reinforcement Learning

  • 2023 IEEE Access 目前找到最新的
  • RL解决信道分配和传输功率 + 数字孪生技术
  • 传统方法模型划分

• Dynamic resource allocation for jointing vehicle-edge deep neural network inference

  • SCI-II 区 DNN动态分区+资源分配 提出一种低复杂度算法解决 2021
  • 用户设备请求增多->分配的资源是动态的，所以会导致模型最优分区也是动态的，主要解决这个问题
  • 最小化所有车辆总体时延，这是np难问题
  • 建模很好 可以参考一下

• Joint DNN partition and resource allocation optimization for energy-constrained hierarchical edge-cloud systems

  • 2022 SCI-2区
  • 关注能耗优化+ 强化学习分层，RL用来选取划分点
  • 启发式算法负责云端算力分配，使用 DDPG
  • 云边协同、任务在slot内执行完成，单云中心+单边缘服务器

• Joint DNN partitioning and task offloading in mobile edge computing via deep reinforcement learning

  • 2023 比较新的领域方向 Journal of cloud computing
  • 研究了DNN划分和任务卸载的能量、延迟联合优化问题
  • 使用基于PPO的DPTO解决DNN分区和任务卸载问题
  • 多个终端设备 + 单边缘服务器，将DQN DDQN 以及 PPO进行对比

• Reinforcement Learning Based Energy-Efficient Collaborative Inference for Mobile Edge Computing

  • 2022 SCI-I区 ，多个终端设备以及多个边缘设备
  • 使用MA-DDPG 多智能体强化学习完成任务，并在真实设备上进行推理
  • 每个边缘设备使用DDPG完成两个任务：选择分区点、选择哪个边缘设备

• Energy-Efficient Collaborative Inference in MEC: A Multi-Agent Reinforcement Learning Based Approach

  • 2022 8th International Conference on Big Data Computing and Communications (BigCom)

  • 最优的分区点和边缘选择取决于特定深度学习架构的推理成本模型和从设备到边缘服务器的通道模型，这在实际的MEC中是具有挑战性的。

  • 提出了一种基于多智能体强化学习的MEC节能协同推理方案，根据环境条件选择深度学习模型的分区点和协同边缘服务器。

• Energy-Efficient Offloading for DNN-Based Smart IoT Systems in Cloud-Edge Environments

  • 2021 TPDS
  • 由于大规模深度神经网络的高计算成本，直接将其部署在能量受限的物联网设备中可能是不可行的。通过将计算密集型任务卸载到云或边缘，计算卸载技术为执行深度神经网络提供了一种可行的解决方案。
  • 设计了一个新的系统能耗模型，该模型考虑了所有参与服务器(来自云和边缘)和物联网设备的运行时、切换和计算能耗。
  • 提出了一种基于遗传算法算子自适应粒子群优化算法(SPSO-GA)的新型节能卸载策略，有效地对具有分层划分操作的DNN层进行卸载决策，降低了编码维数，提高了SPSO-GA的执行时间。

• Edge-Assisted Distributed DNN Collaborative Computing Approach for Mobile Web Augmented Reality in 5G Networks

• DDPQN: An Efficient DNN Offloading Strategy in Local-Edge-Cloud Collaborative Environments

• 参考资料：https://github.com/Tjyy-1223