IRIS论文阅读笔记

  • 这是ICLR2023一篇world model的论文,提出了一个称为IRIS的world model方法
  • 模型仍然是分为两部分,一部分是模拟世界的world model,包括预测下一帧的观测,预测当前reward,预测是否terminate的三个输出;第二部分是强化学习的模型,输出policy和value,可以用于AC算法。
  • 模型的训练是重复以下三步:
    • 利用当前的policy模型,去和真实环境交互,获得一组观测序列。
    • 利用上述观测数据,train world model
    • 利用world model,train RL model

world model

  • world model 包含几部分,首先是一个VQ-VAE (下图的E和D)用于从图像观测中提取token,然后是一个GPT (下图的G)用于预测下一帧和当前的reward和termination。
  • 可以看到,每个时刻,G的输入不仅包含当前时刻的tokens和action,还包含之前的tokens和actions。也就是说,假设每个image最终由16个token表征,action由一个token表征,则t=0时transformer的输入是17个token,t=1时transformer的输入就是34个token了。注意,train world model的时候,是在已经采样好的数据上train的,也就是说此时已经有序列了,不需要交互什么的。我已经采样好一个17n的序列了,只需要对这个序列仅需mask prediction即可,即根据17t的输入,预测17*(t+1)的输出即可,并且使用gt而非预测结果作为下一个t的输入。
  • 另一个需要注意的点是,用的是GPT的框架,即transformer decoder结构,所以是token是一个个预测的,也就是说,预测t=1时刻的token并不是一次性全预测出来的,而是先用t=0时刻的17个token作为输入,预测t=1时刻的第一个token,然后把这18个token作为输入,预测第二个token,以此类推。
相关推荐
琳少_4 小时前
java程序开发笔记
java·开发语言·数据库·笔记
Z21-X8 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
一只大鸽子8 小时前
游戏开发笔记7-Godot RPG游戏基础-场景切换、全局脚本
笔记·游戏·godot
Eastmount11 小时前
[论文阅读] (55)NDSS26 WebSpotter:Web攻击恶意载荷定位与可解释攻击检测
论文阅读·网络安全·攻击检测·ndss
吃我一窝jio12 小时前
Docker+Jenkins+K8s全流程部署
java·开发语言·笔记·python
我超膨胀der.12 小时前
关于如何完整转移LABVIEW源码
笔记·labview
国科安芯13 小时前
FPGA上电偶发不启动:多轨电源时序、PGOOD与并联供电的FAE排查笔记——ASP4644S2B在星载智能处理板中的工程应用分析
笔记·单片机·嵌入式硬件·fpga开发·低轨卫星·抗辐射
一条破秋裤1 天前
【1115】【多线程】【笔记】
前端·chrome·笔记
神明不懂浪漫1 天前
【第八章】多线程(一)
java·开发语言·经验分享·笔记