李飞飞空间智能来了:AI生成可探索交互的3D世界,颠覆游戏电影VR行业

目录

前言

12月3日,有AI"教母"之称的李飞飞发布了空间智能的一个项目,一经发布就立刻引爆了外网。这个项目是仅仅通过一张图片,AI就可以快速的构建一个3D世界,而且这个世界是可以探索和交互的,先来看一看效果:

空间智能:AI生成的3D世界

是不是非常酷炫,实际上空间智能还有更多的能力,下面详细来看一下

图生世界

当今AI发展非常迅速,用图来生成视频已经很逼真了,但是这次的空间智能更是超乎想象。

只需要将一张图片交给空间智能,空间智能就能够在短时间生成一个3D世界。可以在浏览器里进行实时绘制,实际上就是通过Three.js来实现的。这样我们就可以在这个世界里进行探索了,如下

图生世界,颠覆行业的产品

可以看到,除了正前方原图中的元素,AI还会自动生成补全其他方向上的元素。

目前这个项目的功能还没有对外开放,我们无法自己来生成世界。但是在空间智能官网(https://www.worldlabs.ai/blog)上提供了很多已经生成的世界,我们可以自己去探索

就跟我们玩的3D游戏一样,可以通过awsd这四个键来前后左右移动,通过鼠标拖动来调整视角。

看看我们在其中一个世界里的探索

一起来探索AI生成的世界吧

可以看到AI生成的这个世界确实让人惊艳,整体非常平滑,确实有真实世界的感受,尤其它的探索能力是其他AI无法比拟的。

但是在视频中也可以看到,虽然声称的是3D世界,但是其实只是一个小场景,而且我们在其中的行动也不是完全自由的,只能在一个很小的范围内进行移动。

不过这只是一个开始,相信随着空间智能的不断进化,后续会生成更宏大、更自由的世界。

在这些世界里探索的时候,其实也可以发现AI的痕迹,比如很多小细节上处理的还不够。比如下面这个凭空出现的小楼:

摄影效果

你以为这就是空间智能的全部么?当然不是,空间智能生成的世界还支持很多功能,比如一些摄影效果。

景深效果

空间智能可以模拟景深效果,对焦距离相机一定距离物体,这样这部分会清晰的显示,而其他部分则会变得模糊,如下:

空间智能的景深效果

滑动变焦

滑动变焦(Dolly Zoom)就是希区柯克变焦,是电影拍摄中一种很常见的镜头技法。希区柯克变焦的特点是:镜头中的主体大小不变,而背景大小改变。

空间智能支持滑动变焦这一效果,如下:

空间智能的滑动变焦效果

3D效果

相较于其他生成模型,空间智能生成的世界有很多优点:

  • 永恒性:一旦这个世界生成了,它就固定下来了,无论如何转变视角或移动后再返回,这个场景都不会改变了。

  • 实时性:这个场景生成后,你可以实时在这其中进行探索。

  • 正确性:生成的世界遵循3D几何的基本物理规律,有立体感和深度。其他AI模型生成的视频虽然很梦幻,但是缺乏这种效果。

空间智能通过深度图这种简单的方式来实现,简单来说就是每个像素的颜色是由它与摄像头的距离决定的。这部分大家有兴趣去官网看一下吧,这里就不展示效果了。

抬头仰望,那轮皎洁的明月,如同镶嵌在深蓝天幕上的明珠,静静地洒下银辉,照亮了每一个归家人的路。无论身在何方,心中那份对家的眷恋,都随着这轮满月,变得更加浓烈。

交互效果

空间智能生成的世界另外一个特点就是交互性,用户可以在这个场景中放置物体,也可以实现交互,如下:

与AI生成的3D世界交互吧

官网实现了三种效果,声纳、聚光灯和波纹效果。

部分用户提前获得了工具,已经进行了部分创作,他们利用这些生成的世界做了更多复杂的交互,实现了更多的效果。

动画效果

除了交互效果,还可以实现动画效果,如下:

让AI生成的世界动起来

这里就简单展示一下,大家有兴趣自行去官网体验。

走进大师的艺术

有了空间智能这个能力,我们就可以将那些大师的画作构建出来,比如漫游在梵高的《夜晚露天咖啡座》中:

一起漫游在大师的名画中

感觉就像是走进了一个抽象的世界中一样。

工作流

空间智能会保持原图的风格,这就使得它可以与其他AI生成工具结合使用。比如文生图,同一个prompt在不同的模型下生成的图片风格是不一样的,空间智能以这些图片为基准生成的世界风格一样会保持不变。

这里就不展示了,可以去官网体验。

总结

空间智能的发布结结实实的秀了一把,其强大的生成能力确实将AI带进了新的领域。虽然其中有一些瑕疵,而且目前局限于一个小小的场景,但是对于电影、游戏、VR等领域会产生一些颠覆性的改变。

最后的这个视频,是向大家分享空间智能如何在现有工作流中发挥强大的作用,甚至改变整个工作流的。

空间智能如何颠覆现有工作流

相关推荐
开发者每周简报几秒前
求职市场变化
人工智能·面试·职场和发展
AI前沿技术追踪14 分钟前
OpenAI 12天发布会:AI革命的里程碑@附35页PDF文件下载
人工智能
余~~1853816280020 分钟前
稳定的碰一碰发视频、碰一碰矩阵源码技术开发,支持OEM
开发语言·人工智能·python·音视频
galileo20161 小时前
LLM与金融
人工智能
DREAM依旧1 小时前
隐马尔科夫模型|前向算法|Viterbi 算法
人工智能
GocNeverGiveUp1 小时前
机器学习2-NumPy
人工智能·机器学习·numpy
B站计算机毕业设计超人2 小时前
计算机毕业设计PySpark+Hadoop中国城市交通分析与预测 Python交通预测 Python交通可视化 客流量预测 交通大数据 机器学习 深度学习
大数据·人工智能·爬虫·python·机器学习·课程设计·数据可视化
学术头条2 小时前
清华、智谱团队:探索 RLHF 的 scaling laws
人工智能·深度学习·算法·机器学习·语言模型·计算语言学
18号房客2 小时前
一个简单的机器学习实战例程,使用Scikit-Learn库来完成一个常见的分类任务——**鸢尾花数据集(Iris Dataset)**的分类
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·sklearn
feifeikon2 小时前
机器学习DAY3 : 线性回归与最小二乘法与sklearn实现 (线性回归完)
人工智能·机器学习·线性回归