仿 Sora 之形,借物理模拟之技绘视频之彩

来自麻省理工学院、斯坦福大学、哥伦比亚大学以及康奈尔大学的研究人员携手开源了一款创新的3D交互视频模型------PhysDreamer(以下简称"PD")。PD与OpenAI旗下的Sora相似,能够借助物理模拟技术来生成视频,这意味着PD所生成的视频蕴含着诸多物理世界的特性。

例如,用手去触摸一盆花后,花朵会左右摇摆直至缓慢停止。PD可以准确地捕捉到物体很多微妙的动态变化和复杂的交互细节,生成的视频也就更加精准、细腻。可以查看链接视频

https://live.csdn.net/v/464063

PD主要通过视频生成模型学习到的动态先验知识,来评估静态3D对象的物理材质属性。在大量视频训练数据的帮助下,可捕捉到物体外观和动态之间的关系。

从而帮助PD推断出驱动物体动态行为的物理材质属性,即使在缺乏地面真实材质数据的情况下也没问题,这也体现了PD强大的物理模拟和评估能力。

​

视频生成模型作为PD的关键组成部分,通过深度学习海量视频数据中的场景外观与动力学关系,为后续的物理材质模拟以及交互式3D动力合成奠定了坚实的基础。该模型主要借助深度神经网络来构建视频帧之间的时空依赖关系,由编码器和解码器构成。其中,编码器的作用是将输入的视频帧转化为低维表示,从而精准捕捉图像中的核心特征。

解码器则将这些低维表示解码为逼真的视频帧。通过训练过程,视频生成模型能够学习到输入视频帧与目标视频帧之间的映射关系,从而实现逐帧的视频生成。主要流程分为以下四大块。

**外观建模:**主要用来学习物体的外观变化模式,通过观察大量的视频数据,使PD能够捕捉到物体的纹理、颜色、形状等特征,并将它们编码为低维表示。这些编码后的表示可以用于后续的物理材料特性估计和3D动力学合成。

**动力学建模:**通过观察物体在视频中的运动轨迹,模型能够捕捉到物体的速度、加速度以及其他动力学特征。

**先验知识提取:**通过分析编码后的表示和解码后的视频帧,模型能够提取出物体外观和动力学之间的关系,包括外部力对物体的影响、物体的弹性等特征,为后续的物理材质模拟提供重要基础。

物体响应预测

PD具备物体响应预测功能,能够依据输入的交互刺激,精准预测物体的反应。该模型将交互刺激与所学习到的外观及动力学模式相结合,从而生成物体在全新交互情境下的运动轨迹与形变状况。这使得PD所生成的视频能够根据用户的输入,呈现出静态3D物体在特定交互刺激下高度逼真的动态响应效果。

在现实世界里,物体的物理行为是由其材质属性所决定的,诸如刚度、弹性和质量等。而在虚拟环境中对这些属性进行模拟时,会借助"杨氏模量"来进行评估与调整。例如,较高的杨氏模量意味着材料更为坚硬,而较低的杨氏模量则表示材料较为柔软。

为了在虚拟环境中复现现实世界中的物理知识,PD采用了材质场表示法来实现对3D对象物理属性的逼真模拟。材质场是一种连续函数,能够为3D场景中的每一个点分配一个"杨氏模量"物理属性值。

物理材质场采用了隐式神经场来表示,这是一种可微分的模型,能够优化以匹配参考视频中的动态。这种表示方法不仅能够精确地捕捉物体的物理属性,还能够与物理模拟过程无缝集成。

例如,当用户在虚拟环境中挤压一朵虚拟花朵时,花朵的变形和回弹方式会非常接近真实世界的表现。

尤其是在缓慢运动表征方面,PD模型比DreamGaussian4D、PhysGaussian、Real Capture模型表现更好。

相关推荐
万里侯31 分钟前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐34 分钟前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
7177778 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn8 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健9 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道9 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99610 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
字节跳动视频云技术团队10 小时前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术11 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream12 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai