IRIS论文阅读笔记

  • 这是ICLR2023一篇world model的论文,提出了一个称为IRIS的world model方法
  • 模型仍然是分为两部分,一部分是模拟世界的world model,包括预测下一帧的观测,预测当前reward,预测是否terminate的三个输出;第二部分是强化学习的模型,输出policy和value,可以用于AC算法。
  • 模型的训练是重复以下三步:
    • 利用当前的policy模型,去和真实环境交互,获得一组观测序列。
    • 利用上述观测数据,train world model
    • 利用world model,train RL model

world model

  • world model 包含几部分,首先是一个VQ-VAE (下图的E和D)用于从图像观测中提取token,然后是一个GPT (下图的G)用于预测下一帧和当前的reward和termination。
  • 可以看到,每个时刻,G的输入不仅包含当前时刻的tokens和action,还包含之前的tokens和actions。也就是说,假设每个image最终由16个token表征,action由一个token表征,则t=0时transformer的输入是17个token,t=1时transformer的输入就是34个token了。注意,train world model的时候,是在已经采样好的数据上train的,也就是说此时已经有序列了,不需要交互什么的。我已经采样好一个17n的序列了,只需要对这个序列仅需mask prediction即可,即根据17t的输入,预测17*(t+1)的输出即可,并且使用gt而非预测结果作为下一个t的输入。
  • 另一个需要注意的点是,用的是GPT的框架,即transformer decoder结构,所以是token是一个个预测的,也就是说,预测t=1时刻的token并不是一次性全预测出来的,而是先用t=0时刻的17个token作为输入,预测t=1时刻的第一个token,然后把这18个token作为输入,预测第二个token,以此类推。
相关推荐
Lostgreen14 分钟前
分布式查询处理优化之数据分片
大数据·笔记·分布式
hillstream315 分钟前
gitlab工作笔记
笔记·gitlab
芯纪元37 分钟前
Perl编程语言简介
笔记·perl
咔叽布吉37 分钟前
【前端学习笔记】AJAX、axios、fetch、跨域
前端·笔记·学习
谢白羽2 小时前
深度神经网络模型压缩学习笔记三:在线量化算法和工具、实现原理和细节
笔记·学习·dnn
wwddgod2 小时前
openharmony napi调试笔记
笔记
宇寒风暖3 小时前
软件工程——UML简介
笔记·学习·软件工程
@曲终3 小时前
C语言学习 12(指针学习1)
c语言·经验分享·笔记·学习
SRC_BLUE_173 小时前
[网安靶场] [更新中] UPLOAD LABS —— 靶场笔记合集
笔记
YuanLiu_2273 小时前
代码随想录算法训练营第十三天(递归遍历;迭代遍历;统一迭代;层序遍历)
java·数据结构·笔记·算法·leetcode