现实该如何分辨?OpenAI发布文生视频模型Sora,AI圈风云再变

OpenAI一直是AI圈的领跑者,2月16日凌晨,OpenAI再次抛出重磅炸弹,继 Runway、Pika、谷歌和 Meta 之后,OpenAI 终于加入视频生成领域的战争,首次发布了自家的文生视频模型Sora。AI圈的格局将再次被搅动,又将有一批AI创业者面临崩溃。

Sora 是什么?

据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。重要的是能严格遵守用户输入的提示语句,能够理解和模拟真实世界。

根据目前OpenAI发布的内容来看,Sora已经吊打目前所有AI视频工具。看来OpenAI希望又一次改变了世界!

Sora 有什么特点

目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。整体来说我们可以看到Sora的3个重要突出特点:

一分钟视频

首先是视频的长度,目前可以生成视频长度达到一分钟的,是非常难得的。而且这个长度已经可以达到大部分人的基本需求。就像一般视频平台的定义,1分钟以上就已经不是短视频,而是中视频了。

我们来看 OpenAI 官网给出的一个demo视频,一个女人在东京街头行走的视频。promt如下:

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

流畅的视频效果真的让人震撼,已经把一卡一卡的逐帧捏合视频直接淘汰了。而且这里OpenAI还解决了一个重要挑战,即确保主题即使暂时离开视野也保持不变。

复杂的多角度镜头

在以往的AI生成视频中,都是单镜头推进式的视频模式,而Sora生成的视频中可以切换多个角度,并保持主题的一致性,已经接近于影视叙事的水平。

看下下面这个宇航员的demo,prompt如下:

Prompt: A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.

理解物理世界

世界模型真的要成真了?众多AI厂商都在提的世界模型,现在在Sora身上经有了雏形。通过观察大量数据,它竟然学会了许多关于世界的物理规律。来看下这个demo视频,不光有列车和窗外真实的美景外,更厉害的细节是车窗上的反光倒影,随着车内外光线环境和人物的运动变化,倒影也几乎完美还原了真实世界的样子!

prompt如下:

Prompt: Reflections in the window of a train traveling through the Tokyo suburbs.

存在的缺陷

OpenAI 同时也承认当前的模型存在弱点。它可能难以准确模拟复杂场景的物理原理,并且可能无法理解因果关系的具体实例。例如,一个人可能咬了一口饼干,但之后饼干可能没有咬痕。

该模型还可能会混淆提示的空间细节,例如混淆左右,并且可能难以精确描述随着时间推移发生的事件,例如遵循特定的相机轨迹。

例如下面这个视频,狗会自己出现,确实很诡异。

幸好AI还有缺陷,不然的话,我们真的没办法区分虚拟和现实了。

更多技术细节

对 Sora 背后的模型细节,我们非常好奇也非常关注。据 OpenAI 博客,更多的信息将在后续的技术论文中公布。

相关推荐
奔跑中的小象3 小时前
统信UOS + 天数AI卡部署SGLang服务手册
人工智能·uos·sglang·天数智芯
DevSecOps选型指南3 小时前
中国版Mythos,为何是悬镜安全灵脉CodeAI?
人工智能·安全
Shockang3 小时前
LangGraph 状态机实战
人工智能
刹那芳华19923 小时前
循环神经网络的从零开始实现(RNN)
人工智能·rnn·深度学习
阿童木写作4 小时前
跨境图片翻译工具多合一,批量图片视频字幕翻译加智能抠图
人工智能·python·音视频·语音识别
科技之门4 小时前
AI3D从建模到贴图、绑骨和动画的完整流程怎么做?V2Fun完整工作流指南
人工智能·3d·贴图
宇宙第一小趴菜4 小时前
二、机器学习的应用领域和发展史
人工智能·机器学习
前端开发江鸟4 小时前
我写过 MCP Server,却一直以为 MCP 只有 Tool
人工智能
天国梦4 小时前
自习室智能化升级避坑指南:天学网AI智习室方案实测与选型建议
大数据·人工智能
阿里云云原生5 小时前
可用性从 99.9% 跃升至 99.995%:畅捷通如何用 AI 重塑运维底座?
运维·网络·人工智能