DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY(分布式优先级体验回放)论文阅读

标题:DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY(分布式优先级体验回放)

作者:John Quan, Dan Horgan,David Budden,Gabriel Barth-Maron

单位: DeepMind

发表期刊:Machine Learning

发表时间:2018年

论文研究主题归类:深度强化学习

1.论文解决什么问题

提出了一种大规模深度强化学习的分布式架构,它使代理能够从比以前可能的数量级更多的数据中有效地学习。该算法将行动与学习脱钩:参与者通过根据共享的神经网络选择行动来与自己的环境实例交互,并在共享的经验回放记忆中积累由此产生的经验;学习者回放经验样本并更新神经网络。该体系结构依赖于优先级经验回放,只关注参与者生成的最重要的数据。该体系结构大大提高了机器学习环境的水平,在时间上获得了更好的表现。

2.是否有公开的数据集及源代码

数据集:https://github.com/blue-blue272/VideoReID-TCLNet

源代码:https://github.com/blue-blue272/VideoReID-TCLNet

3.论文的主要观点

作者认为分布式随机梯度下降被广泛用于监督学习,通过并行化更新参数的梯度来加速神经网络的训练,由此产生的参数更新可以同步、可以异步。受此启发,分布式异步参数更新和分布式数据生成应用于深度强化学习中。从数据集中非均匀采样并根据采样概率对更新进行加权以抵消由此引入的偏差,可以减少梯度的方差来提高收敛速度。experience replay在Q network上被证实非常有用。(有效解决了数据时序相关性和数据非静态分布的问题)还通过学习先前策略下的数据起到了过拟合的作用。

相关推荐
掘金-我是哪吒12 小时前
分布式微服务系统架构第156集:JavaPlus技术文档平台日更-Java线程池使用指南
java·分布式·微服务·云原生·架构
亲爱的非洲野猪13 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
活跃家族13 小时前
分布式压测
分布式
前端世界14 小时前
HarmonyOS开发实战:鸿蒙分布式生态构建与多设备协同发布全流程详解
分布式·华为·harmonyos
DavidSoCool15 小时前
RabbitMQ使用topic Exchange实现微服务分组订阅
分布式·微服务·rabbitmq
掘金-我是哪吒16 小时前
分布式微服务系统架构第158集:JavaPlus技术文档平台日更-JVM基础知识
jvm·分布式·微服务·架构·系统架构
s1ckrain16 小时前
【论文阅读】VARGPT-v1.1
论文阅读·多模态大模型·统一生成模型
东窗西篱梦16 小时前
Redis集群部署指南:高可用与分布式实践
数据库·redis·分布式
Acrel_Fanny17 小时前
Acrel-1000系列分布式光伏监控系统在湖北荆门一马光彩大市场屋顶光伏发电项目中应用
分布式
xufwind17 小时前
spark standlone 集群离线安装
大数据·分布式·spark