论文：Mobility-Aware Cooperative Caching in Vehicular Edge Computing Based on Asynchronous Federated and DRL
JSTSP 2022 基于异步联邦和深度强化学习的车载边缘计算移动感知协同缓存
一、Introduction
background：
随着车联网（IoV）和云计算（Cloud Computing）的发展，缓存技术为车载用户（VU）提供了各种实时车辆应用，如自动导航、模式识别和多媒体娱乐。对于标准缓存技术，云缓存各种内容，如数据、视频和网页。车辆将所需内容传输到与云服务器相连的宏基站（MBS），从MBS中获取内容，由于车辆频繁请求内容造成通信拥塞，导致MBS到车辆的内容传输时延较高.车载边缘计算（VEC）可以有效降低内容传输时延，将内容缓存在部署在车载网络（VNs）边缘的 路侧单元（RSU）中，车辆直接从本地 RSU 获取内容，减少内容传输延迟。在 VEC 中，本地 RSU 的缓存容量有限，如果车辆无法获取其所需的内容，则拥有所需内容的相邻 RSU 将它们转发到本地 RSU。最坏的情况是本地和相邻的 RSU 都没有缓存请求的内容，车辆需要从 MBS 获取内容。
在 VEC 中，设计一种缓存方案 来缓存热门内容至关重要。传统的缓存方案根据历史请求缓存内容。由于VEC中车辆的高机动性特性，先前从车辆请求的内容可能会很快过时，传统的缓存方案无法满足VU的所有需求。因此要预测 VEC 中最受欢迎的内容，提前缓存在合适的 RSU 中。机器学习（ML）可以通过训练用户数据来提取隐藏的特征，有效地预测热门内容。然而，用户数据通常包含隐私信息 ，用户不愿意直接与他人分享他们的数据，这使得收集和训练用户的数据变得困难。联邦学习 （FL） 可以通过共享用户的本地模型 而不是数据来保护用户的隐私 。在传统的联邦学习 中，全局模型通过聚合所有车辆 的本地模型来定期更新。然而，车辆在更新本地模型之前，可能会频繁地驶出VEC的覆盖区域，因此无法在同一区域上传本地模型，这将降低全局模型的准确性以及获取预测的热门内容的概率。异步联邦学习 可以在不聚合所有车辆的局部模型的情况下进行，因此可以上传部分模型 以提高全局模型的精度。车辆的移动性对异步联邦学习有很大影响。
预测的热门内容的大小通常会超过本地 RSU 的缓存容量。因此VEC 必须确定预测的热门内容在何处缓存和更新。内容传输时延是车辆提供实时车载应用的重要指标。本地和相邻的RSU中缓存的热门内容不同，会影响车辆获取内容的方式，从而影响内容传输的延迟。每辆车的内容传输时延都受其信道条件的影响，而信道条件又受车辆移动性的影响。因此需要考虑车辆的移动性来设计一种协同缓存方案，将预测的热门内容缓存在RSU之间，以优化内容传输时延。
Motivation：
解决车辆边缘计算（VEC）中缓存效率和传输延迟的问题。VEC在路边单元（RSU）中学习和缓存车辆用户（VU）最受欢迎的内容，降低传输延迟。传统基于历史请求的缓存方案难以适应车辆的高机动性，需要预测和缓存热门内容。传统联邦学习因车辆频繁移动而无法有效更新全局模型，导致预测热门内容的精度降低。异步联邦学习可以在不聚合所有局部模型的情况下提高全局模型的精度。考虑到RSU缓存容量有限，需优化热门内容的缓存位置以减少传输延迟。
Method：
- 异步联邦学习算法：提出一种考虑车辆位置和速度等移动特性的异步联邦学习算法，以提高全局模型的精度。
- 预测热门内容的算法：提出一种基于全局模型预测热门内容的算法。每辆车采用自动编码器（AE）预测基于全局模型的感兴趣内容，本地RSU收集覆盖区域内所有车辆的兴趣内容，以捕获热门内容。
- 深度强化学习框架：设计一个DRL框架（dueling deep Q-network，DQN）解决协同缓存问题。RSU根据dueling DQN算法确定最优的协同缓存策略，以最小化内容传输延迟。
二、SYSTEM MODEL
考虑城市场景中的三层 VEC，该场景由本地 RSU、相邻 RSU、连接云的 MBS 和在 RSU 覆盖区域内行驶的一些车辆组成。顶层是部署在 VEC 中心的 MBS，而中间层是部署在 MBS 覆盖区域内的 RSU，放置在道路侧。底层是在 RSU 的覆盖区域内行驶的车辆。
每辆车都存储了大量的VU的历史数据，即本地数据。每个数据都是反映 VU 不同信息的向量，包括 VU 的个人信息，例如身份证 （ID） 号码、性别、年龄和邮政编码、VU 可能请求的内容，以及 VU 对内容的评级，对内容的评级越大表明 VU 对内容更感兴趣。内容的评级为0即它不受欢迎或未被 VU 请求。每辆车随机选择一部分本地数据形成训练集，其余部分作测试集。每轮每辆车从测试集随机选择内容作为请求的内容，将请求信息发送到本地 RSU。MBS缓存所有可用内容，每个RSU容量有限。车辆在不同条件下从本地 RSU、相邻 RSU 或 MBS 获取每个请求的内容。具体说来
1） 本地 RSU
如果请求的内容缓存在本地 RSU 中，则本地 RSU 会将请求的内容发送回车辆。在这种情况下，车辆从本地 RSU 获取内容。
2） 邻近的 RSU
如果请求的内容未缓存在本地 RSU 中，则本地 RSU 会将请求传输到相邻的 RSU，而相邻的 RSU 会将内容发送到本地 RSU（如果它缓存了请求的内容）。之后，本地 RSU 将内容发送回车辆。在这种情况下，车辆从相邻的 RSU 获取内容。
3） MBS
如果内容既未缓存在本地 RSU 中，也未缓存在相邻 RSU 中，则车辆会向 MBS 发送请求，MBS 直接将请求的内容发送回车辆。在这种情况下，VU 从 MBS 获取内容。
B. 车辆的移动性模型
C.通信模型
VEC中的多辆车采用正交频分复用(OFDM)技术与RSU通信，在通信模型中不考虑干扰。本地RSU和相邻RSU之间的通信采用有线链路。每辆车在一轮中保持相同的通信模型，并针对不同的轮次更改其通信模型。
三、协同缓存方案
提出一种协作缓存方案来优化每一轮r中的内容传输延迟。首先提出异步 FL 算法来保护 VU 的信息并获得准确的模型。然后提出基于获得的模型来预测流行内容的算法。最后提出基于 DRL 的算法，根据预测确定最佳协作缓存流行内容。
A.异步联邦学习
如上图所示，传统的同步FL（右），本地 RSU 等待所有车辆上传其本地模型并聚合所有本地模型来更新全局模型。然后每辆车从本地RSU下载更新后的模型。相比之下，对于异步FL（左），每上传成功一个本地模型，本地RSU都会聚合并更新其全局模型。
文章考虑车辆移动性在VEC中提出一种异步FL算法，该算法由5步组成：
异步联邦学习整体算法：
B.流行的内容预测
提出一种预测流行内容的算法。流行的内容预测算法由4个步骤组成：
C.基于DRL的协同缓存------DRL框架
每个RSU的计算能力很强，协作缓存可以在短时间内确定。主要目标是找到一个基于DRL的最优协同缓存，以最小化内容传输延迟。接下来将制定 DRL 框架，然后介绍 DRL 算法
C.基于DRL的协同缓存------DRL算法
Dueling DQN流程
