标题：《WORLD OBSERVER: JOINT ACTOR-OBSERVER GENERATION FOR PERSISTENT WORLD MODELING》
来源：KAIST AI
链接：https://cvlab-kaist.github.io/world-observer
摘要
本文提出了一种名为 World Observer（世界观察者） 的架构，旨在解决传统视频世界模型中"物体离开视野后失去状态记录并在重新进入视野时无法保持一致性"的问题。该方法通过将"观察"与"行动"解耦，联合生成智能体视角的参与者（Actor）视频流和一个或多个监控周边环境的全景观察者（Observer）视频流，从而在全局视角下持续维护并演化物体的状态。
一. 核心架构与联合建模
World Observer 在 3D VAE 的潜在空间中，使用单个预训练的视频扩散 Transformer (DiT) 联合生成 Actor 和 Observer 两个视频流。
输入与生成机制 ：Actor 流接收相机轨迹 C a \mathbf{C}^a Ca、提示词 P a \mathbf{P}^a Pa 和噪声潜变量 Z a \mathbf{Z}^a Za 以生成 Z ^ a \hat{\mathbf{Z}}^a Z^a 。Observer 流也同理接收 C o \mathbf{C}^o Co、 P o \mathbf{P}^o Po 和 Z o \mathbf{Z}^o Zo 。 使用单个预训练的DiT（具体为 Cosmos-Predict2.5）来共同处理这两个流视频 ：以包含 T T T 帧的块自回归生成，并以历史潜变量 Z hist a \mathbf{Z}^a_{\text{hist}} Zhista 和 Z hist o \mathbf{Z}^o_{\text{hist}} Zhisto 作为条件。
视角-时间对齐 (View-time alignment)：将 Actor 和 Observer 的潜变量与历史潜变量拼接为单一序列，并在 RoPE 时间轴上为匹配的潜变量分配相同位置，使自注意力机制能够在相同时步跨流交换信息。
解耦提示 (Decoupled actor-observer prompting )：两者使用独立的提示词进行条件化， Observer 提示词 P o \mathbf{P}^o Po 负责控制和描述视野外的全局事件演化，相当于模型的记忆与控制中心 。
图 4：模型概览。(a)World Observer 利用共享的 DiT 同步生成主体流与全景观察者流。(b)观察者汇点将高分辨率初始全景图转换为四个透视参考图，以支持细粒度外观建模。
二.训练目标 (Training Objective)
模型使用流匹配 (flow matching) 进行训练。对于每一个流 s ∈ { a , o } s \in \{a, o\} s∈{a,o}，采样高斯噪声 ϵ ∼ N ( 0 , I ) \epsilon \sim \mathcal{N}(0, I) ϵ∼N(0,I) 和共享时步 k ∈ 0 , 1 k \in 0, 1 k∈0,1，构造插值潜变量：
Z ~ k s = ( 1 − k ) Z s + k ϵ \tilde{\mathbf{Z}}^s_k = (1 - k)\mathbf{Z}^s + k\epsilon Z~ks=(1−k)Zs+kϵ
整体优化目标为：
L = E ∑ s ∈ { a , o } ∥ v θ s ( Z \~ seq , k , P a , P o , k ) − ( ϵ − Z s ) ∥ 2 2 \mathcal{L} = \mathbb{E} \left \\sum_{s \\in \\{a, o\\}} \\left\\Vert{} \\mathbf{v}_\\theta\^s(\\tilde{\\mathbf{Z}}_{\\text{seq}, k}, \\mathbf{P}\^a, \\mathbf{P}\^o, k) - (\\epsilon - \\mathbf{Z}\^s) \\right\\Vert{}_2\^2 \\right L=E s∈{a,o}∑ vθs(Z~seq,k,Pa,Po,k)−(ϵ−Zs) 22
其中 Z ~ seq , k \tilde{\mathbf{Z}}_{\text{seq}, k} Z~seq,k 表示包含插值目标潜变量和干净历史潜变量的联合序列。
三. 全景观察者建模 (Panoramic Observer Modeling)
为了确保 Actor 和 Observer 之间的几何一致性和视觉质量，系统引入了以下机制：
全景变换 (Panoramic warping) ：利用初始全景图 x 0 o x^o_0 x0o 和深度 D 0 D_0 D0，将共享源扭曲到各个流的目标位姿 c 0 → t o c^o_{0 \to t} c0→to。扭曲公式为：
x warp , t s = Render ( Unproj ( x 0 o , D 0 o ) , c 0 → t o ) x^s_{\text{warp}, t} = \text{Render}(\text{Unproj}(x^o_0, D^o_0), c^o_{0 \to t}) xwarp,ts=Render(Unproj(x0o,D0o),c0→to)
解耦分辨率 (Decoupled resolution)：因为 Observer 仅需维持粗略的空间运动状态而不需要精细展示，其生成分辨率 R o R^o Ro 被设定为低于 Actor 的分辨率 R a R^a Ra。
观察者池 (Observer Sink )：为了弥补全景图几何畸变带来的精细外观丢失，系统从高分辨率初始全景图裁剪出4个视角（水平偏角相差90°），编码为潜变量 z os v z^v_{\text{os}} zosv ，并附加到生成序列中 ，以便在物体重新进入视野时提供高分辨率参考。更新操作如下：
Z seq ← Z seq ; { z os v } v , P seq ← P seq ; { H + L + Δ os + v δ os } v \mathbf{Z}{\text{seq}} \leftarrow \\mathbf{Z}_{\\text{seq}}; \\{z\^v_{\\text{os}}\\}_v, \quad \mathbf{P}{\text{seq}} \leftarrow \\mathbf{P}_{\\text{seq}}; \\{H + L + \\Delta_{\\text{os}} + v\\delta_{\\text{os}}\\}_v Zseq←Zseq;{zosv}v,Pseq←Pseq;{H+L+Δos+vδos}v
对于复杂场景或互相遮挡的区域，单一 Observer 可能不足，系统可扩展为 N > 1 N > 1 N>1 的多观察者模式 。此时，所有 N N N 个 Observer 流被拼接到单一序列中由同一个 DiT 联合生成。系统会动态选择与当前 Actor 位置最近的初始 Observer 全景图作为视角扭曲和构建 Observer Sink 的几何源，以确保稳定的相机控制和连贯的全局状态维护。
训练与推理流程
训练阶段 (Training)：
数据输入：使用 77 帧的视频块进行训练。
特征提取：将成对的 Actor 视角视频和 Observer 全景视频编码为潜变量。
联合去噪：将两者的潜变量拼接，输入到微调的 Cosmos-Predict2.5 DiT 模型中。模型通过流匹配（Flow Matching）目标函数，学习如何根据各自的文本提示词和相机轨迹条件去噪生成这两个流。
