STORM论文阅读笔记

  • 这是篇NIPS2023的 world model 论文
  • 文章提出,WM的误差会在训练过程中积累从而影响policy的训练,向WM中加噪声可以改善这一点。
  • 其他的流程和IRIS差不多,差别在以下几点:
    • image encoder,IRIS用的VQVAE, 本文用的是VAE,用VAE的采样方式来生成zt,从而为zt加噪声。
    • sequence model,IRIS用GPT循环输出image的每个token,本文直接用MLP把生成的 z t z_t zt 和动作 a t a_t at 输出成一个token,这样GPT只需要在时序上循环而不需要在同一个 t 内的不同 token 上循环。换句话说,IRIS的一个图片是GPT中的16个token,而STORM的一个图片是GPT中的一个token。
    • hidden state,IRIS直接从 z 1 : t z_{1:t} z1:t 预测 z t + 1 z_{t+1} zt+1,相当于RNN,而 STORM先从 z 1 : t z_{1:t} z1:t 预测 h t h_{t} ht,也就是说上面的sequence model输出的不是 z ,而是hidden state h,再用一个MLP从 h t h_t ht来预测 z t + 1 z_{t+1} zt+1,这点是用了Dreamerv3的思路
    • loss function,用的也是dreamerv3的loss function
  • 完整公式和损失函数如下:



Agent learning

  • 强化学习的部分和dreamerv3一样,不过强调了下value函数用的是移动平均:
相关推荐
冰帝海岸2 小时前
01-spring security认证笔记
java·笔记·spring
小二·3 小时前
java基础面试题笔记(基础篇)
java·笔记·python
wusong9996 小时前
mongoDB回顾笔记(一)
数据库·笔记·mongodb
猫爪笔记6 小时前
前端:HTML (学习笔记)【1】
前端·笔记·学习·html
Resurgence036 小时前
【计组笔记】习题
笔记
pq113_66 小时前
ftdi_sio应用学习笔记 3 - GPIO
笔记·学习·ftdi_sio
老艾的AI世界7 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
爱米的前端小笔记7 小时前
前端八股自学笔记分享—页面布局(二)
前端·笔记·学习·面试·求职招聘
寒笙LED10 小时前
C++详细笔记(六)string库
开发语言·c++·笔记
sp_fyf_202410 小时前
【大语言模型】ACL2024论文-19 SportsMetrics: 融合文本和数值数据以理解大型语言模型中的信息融合
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理