力提示(force prompting)的新方法

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

布朗大学与DeepMind的研究团队最近展示了一项名为"力提示(force prompting)"的新方法,该方法允许生成式视频模型在无需依赖3D建模或物理引擎的情况下,通过模拟"力"的作用来生成逼真的视频运动效果。

所谓"力提示",即研究人员通过人工设定方向与强度的力向量,引导AI生成运动。模型可以处理两种类型的力:一种是作用于整个场景的"全局力"(如风),另一种是针对特定点的"局部力"(如轻敲物体)。这些力被表示为向量场,并被直接输入至视频生成系统,从而转化为自然的运动表现。

本研究基于CogVideoX-5B-I2V视频模型,并整合了ControlNet模块以处理物理控制信号,整个系统以Transformer架构为基础,可生成每段49帧的视频。训练仅耗时一天,使用了四张Nvidia A100显卡。

在训练阶段,研究人员采用了完全合成的数据集:包括1.5万段不同风速下旗帜飘动的视频,用于训练对全局风力的响应;1.2万段滚球视频和1.1万段花朵因撞击而晃动的视频,则用于训练局部力的处理。每个训练样本都包括文本提示、初始图像和一个代表力的向量场(或移动信号),这些三维模拟力被投影到二维图像坐标中。研究人员还对背景、光照、摄像机角度和力的方向进行随机化,增强模型泛化能力。

尽管数据量有限,模型依然展现出较强的泛化能力。例如,它能分辨轻物体比重物体更易被推动,还能识别满的洗衣篮比空的移动得慢。这种"直觉物理"(intuitive physics)能力是在没有真实物理模拟的条件下学到的。

在人类主观评估中,"力提示"方法优于文本描述或运动路径控制等传统方式,甚至在运动匹配度与现实感方面超过了使用真实物理模拟的PhysDreamer模型(尽管后者图像质量更高)。消融实验进一步显示,训练数据的多样性对于模型识别力的方位与强度至关重要。若缺乏多样背景或文本中缺少与物理相关的词汇,模型表现显著下降。

值得注意的是,模型将物体视为整体单位:即使只是某个部位受力,整个物体都会运动。同时,模型还能够在生成视频过程中保留原图中的风格特征,如光照和景深。

不过研究人员也指出,该方法并不能完全替代高精度物理仿真。在复杂场景中,模型有时仍会出错,比如烟雾忽略风的作用,或人体手臂像布一样摆动。然而,作为一种高效手段,"力提示"为AI生成视频注入了具有物理可信度的动态表现。

DeepMind首席执行官Demis Hassabis近期也强调,像Veo 3这样的AI视频模型正在逐步理解物理规律。他认为,这是AI从图像处理迈向对世界物理结构建模的重要一步,也将推动更具通用性AI系统的发展,使其能通过模拟环境中的经验学习,而不再仅仅依赖于静态数据。

相关推荐
微三云 - 廖会灵 (私域系统开发)1 小时前
存量社区破局:当物业困局遇上消费返物业费,重构社区商业新生态
大数据·人工智能·重构
T型码农要学习3 小时前
开源项目5|FileBrowser:免费在线文件管理器!随时随地管控服务器文件
运维·服务器·人工智能·开源
智恒百亿3 小时前
8 卡 RTX 5090 服务器深度实测:256GB 显存能否支撑 70B 模型微调?选型参考
大数据·运维·服务器·人工智能
ai小陈5 小时前
PyTorch DataLoader数据加载性能排查:GPU利用率低的实操指南
人工智能·pytorch·python·深度学习·ai·gpu算力
测试者家园7 小时前
为什么意图驱动测试是自动化测试的下一站,而不是替代品
自动化测试·软件测试·人工智能·持续测试·ai赋能·智能化测试·软件测试变革
D202020208 小时前
TikTok Shop禁止AI语音直播落地后,跨境卖家如何通过达秘合规调整带货内容
人工智能
像风一样自由20208 小时前
20.Milvus常见问题检索不到维度错误和数据一致性
人工智能·大模型·milvus
现代野蛮人8 小时前
【深度学习实验】—— 基于 LSTM 与 Optuna 调参的丙型肝炎预测
人工智能·深度学习·lstm
支支დ8 小时前
VO by Vercel 前端特定优势:为什么它是构建 AI 应用的新范式
前端·人工智能
ZGIAI9 小时前
ZGI 让那些"等你去处理"的事,真正跑起来
人工智能·架构