李飞飞空间智能来了:AI生成可探索交互的3D世界,颠覆游戏电影VR行业

目录

前言

12月3日,有AI"教母"之称的李飞飞发布了空间智能的一个项目,一经发布就立刻引爆了外网。这个项目是仅仅通过一张图片,AI就可以快速的构建一个3D世界,而且这个世界是可以探索和交互的,先来看一看效果:

空间智能:AI生成的3D世界

是不是非常酷炫,实际上空间智能还有更多的能力,下面详细来看一下

图生世界

当今AI发展非常迅速,用图来生成视频已经很逼真了,但是这次的空间智能更是超乎想象。

只需要将一张图片交给空间智能,空间智能就能够在短时间生成一个3D世界。可以在浏览器里进行实时绘制,实际上就是通过Three.js来实现的。这样我们就可以在这个世界里进行探索了,如下

图生世界,颠覆行业的产品

可以看到,除了正前方原图中的元素,AI还会自动生成补全其他方向上的元素。

目前这个项目的功能还没有对外开放,我们无法自己来生成世界。但是在空间智能官网(https://www.worldlabs.ai/blog)上提供了很多已经生成的世界,我们可以自己去探索

就跟我们玩的3D游戏一样,可以通过awsd这四个键来前后左右移动,通过鼠标拖动来调整视角。

看看我们在其中一个世界里的探索

一起来探索AI生成的世界吧

可以看到AI生成的这个世界确实让人惊艳,整体非常平滑,确实有真实世界的感受,尤其它的探索能力是其他AI无法比拟的。

但是在视频中也可以看到,虽然声称的是3D世界,但是其实只是一个小场景,而且我们在其中的行动也不是完全自由的,只能在一个很小的范围内进行移动。

不过这只是一个开始,相信随着空间智能的不断进化,后续会生成更宏大、更自由的世界。

在这些世界里探索的时候,其实也可以发现AI的痕迹,比如很多小细节上处理的还不够。比如下面这个凭空出现的小楼:

摄影效果

你以为这就是空间智能的全部么?当然不是,空间智能生成的世界还支持很多功能,比如一些摄影效果。

景深效果

空间智能可以模拟景深效果,对焦距离相机一定距离物体,这样这部分会清晰的显示,而其他部分则会变得模糊,如下:

空间智能的景深效果

滑动变焦

滑动变焦(Dolly Zoom)就是希区柯克变焦,是电影拍摄中一种很常见的镜头技法。希区柯克变焦的特点是:镜头中的主体大小不变,而背景大小改变。

空间智能支持滑动变焦这一效果,如下:

空间智能的滑动变焦效果

3D效果

相较于其他生成模型,空间智能生成的世界有很多优点:

  • 永恒性:一旦这个世界生成了,它就固定下来了,无论如何转变视角或移动后再返回,这个场景都不会改变了。

  • 实时性:这个场景生成后,你可以实时在这其中进行探索。

  • 正确性:生成的世界遵循3D几何的基本物理规律,有立体感和深度。其他AI模型生成的视频虽然很梦幻,但是缺乏这种效果。

空间智能通过深度图这种简单的方式来实现,简单来说就是每个像素的颜色是由它与摄像头的距离决定的。这部分大家有兴趣去官网看一下吧,这里就不展示效果了。

抬头仰望,那轮皎洁的明月,如同镶嵌在深蓝天幕上的明珠,静静地洒下银辉,照亮了每一个归家人的路。无论身在何方,心中那份对家的眷恋,都随着这轮满月,变得更加浓烈。

交互效果

空间智能生成的世界另外一个特点就是交互性,用户可以在这个场景中放置物体,也可以实现交互,如下:

与AI生成的3D世界交互吧

官网实现了三种效果,声纳、聚光灯和波纹效果。

部分用户提前获得了工具,已经进行了部分创作,他们利用这些生成的世界做了更多复杂的交互,实现了更多的效果。

动画效果

除了交互效果,还可以实现动画效果,如下:

让AI生成的世界动起来

这里就简单展示一下,大家有兴趣自行去官网体验。

走进大师的艺术

有了空间智能这个能力,我们就可以将那些大师的画作构建出来,比如漫游在梵高的《夜晚露天咖啡座》中:

一起漫游在大师的名画中

感觉就像是走进了一个抽象的世界中一样。

工作流

空间智能会保持原图的风格,这就使得它可以与其他AI生成工具结合使用。比如文生图,同一个prompt在不同的模型下生成的图片风格是不一样的,空间智能以这些图片为基准生成的世界风格一样会保持不变。

这里就不展示了,可以去官网体验。

总结

空间智能的发布结结实实的秀了一把,其强大的生成能力确实将AI带进了新的领域。虽然其中有一些瑕疵,而且目前局限于一个小小的场景,但是对于电影、游戏、VR等领域会产生一些颠覆性的改变。

最后的这个视频,是向大家分享空间智能如何在现有工作流中发挥强大的作用,甚至改变整个工作流的。

空间智能如何颠覆现有工作流

相关推荐
真想骂*22 分钟前
人工智能如何重塑音频、视觉及多模态领域的应用格局
人工智能·音视频
赛丽曼2 小时前
机器学习-K近邻算法
人工智能·机器学习·近邻算法
啊波次得饿佛哥4 小时前
7. 计算机视觉
人工智能·计算机视觉·视觉检测
XianxinMao5 小时前
RLHF技术应用探析:从安全任务到高阶能力提升
人工智能·python·算法
Swift社区5 小时前
【分布式日志篇】从工具选型到实战部署:全面解析日志采集与管理路径
人工智能·spring boot·分布式
Quz5 小时前
OpenCV:高通滤波之索贝尔、沙尔和拉普拉斯
图像处理·人工智能·opencv·计算机视觉·矩阵
去往火星5 小时前
OpenCV文字绘制支持中文显示
人工智能·opencv·计算机视觉
海里的鱼20226 小时前
yolov11配置环境,实现OBB带方向目标检测
人工智能·yolo·目标检测·计算机视觉
道友老李6 小时前
【自然语言处理(NLP)】介绍、发展史
人工智能·自然语言处理
有Li6 小时前
基于深度学习的微出血自动检测及解剖尺度定位|文献速递-视觉大模型医疗图像应用
人工智能·深度学习