来自麻省理工学院、斯坦福大学、哥伦比亚大学以及康奈尔大学的研究人员携手开源了一款创新的3D交互视频模型------PhysDreamer（以下简称"PD"）。PD与OpenAI旗下的Sora相似，能够借助物理模拟技术来生成视频，这意味着PD所生成的视频蕴含着诸多物理世界的特性。
例如，用手去触摸一盆花后，花朵会左右摇摆直至缓慢停止。PD可以准确地捕捉到物体很多微妙的动态变化和复杂的交互细节，生成的视频也就更加精准、细腻。可以查看链接视频
https://live.csdn.net/v/464063
PD主要通过视频生成模型学习到的动态先验知识，来评估静态3D对象的物理材质属性。在大量视频训练数据的帮助下，可捕捉到物体外观和动态之间的关系。
从而帮助PD推断出驱动物体动态行为的物理材质属性，即使在缺乏地面真实材质数据的情况下也没问题，这也体现了PD强大的物理模拟和评估能力。
视频生成模型作为PD的关键组成部分，通过深度学习海量视频数据中的场景外观与动力学关系，为后续的物理材质模拟以及交互式3D动力合成奠定了坚实的基础。该模型主要借助深度神经网络来构建视频帧之间的时空依赖关系，由编码器和解码器构成。其中，编码器的作用是将输入的视频帧转化为低维表示，从而精准捕捉图像中的核心特征。
解码器则将这些低维表示解码为逼真的视频帧。通过训练过程，视频生成模型能够学习到输入视频帧与目标视频帧之间的映射关系，从而实现逐帧的视频生成。主要流程分为以下四大块。
**外观建模：**主要用来学习物体的外观变化模式，通过观察大量的视频数据，使PD能够捕捉到物体的纹理、颜色、形状等特征，并将它们编码为低维表示。这些编码后的表示可以用于后续的物理材料特性估计和3D动力学合成。
**动力学建模：**通过观察物体在视频中的运动轨迹，模型能够捕捉到物体的速度、加速度以及其他动力学特征。
**先验知识提取：**通过分析编码后的表示和解码后的视频帧，模型能够提取出物体外观和动力学之间的关系，包括外部力对物体的影响、物体的弹性等特征，为后续的物理材质模拟提供重要基础。
物体响应预测
PD具备物体响应预测功能，能够依据输入的交互刺激，精准预测物体的反应。该模型将交互刺激与所学习到的外观及动力学模式相结合，从而生成物体在全新交互情境下的运动轨迹与形变状况。这使得PD所生成的视频能够根据用户的输入，呈现出静态3D物体在特定交互刺激下高度逼真的动态响应效果。
在现实世界里，物体的物理行为是由其材质属性所决定的，诸如刚度、弹性和质量等。而在虚拟环境中对这些属性进行模拟时，会借助"杨氏模量"来进行评估与调整。例如，较高的杨氏模量意味着材料更为坚硬，而较低的杨氏模量则表示材料较为柔软。
为了在虚拟环境中复现现实世界中的物理知识，PD采用了材质场表示法来实现对3D对象物理属性的逼真模拟。材质场是一种连续函数，能够为3D场景中的每一个点分配一个"杨氏模量"物理属性值。
物理材质场采用了隐式神经场来表示，这是一种可微分的模型，能够优化以匹配参考视频中的动态。这种表示方法不仅能够精确地捕捉物体的物理属性，还能够与物理模拟过程无缝集成。
例如，当用户在虚拟环境中挤压一朵虚拟花朵时，花朵的变形和回弹方式会非常接近真实世界的表现。
尤其是在缓慢运动表征方面，PD模型比DreamGaussian4D、PhysGaussian、Real Capture模型表现更好。