Sora是OpenAI发布的人工智能文生视频大模型,它于2024年2月15日(美国当地时间)正式对外发布。Sora被视为一种"世界模拟器",而非仅仅是一个视频模型。该模型继承了DALL-E 3的画质和遵循指令能力,可以根据用户的文本提示创建逼真的视频。
Sora是一种扩散模型,主要通过静态噪音的视频开始生成视频,然后再通过多个步骤去除噪音,逐渐转换视频。与ChatGPT一样,Sora也采用Transformer架构,并使用了DALL-E 3中的重述技术,为视觉训练数据生成高精准描述性的字幕。这使得Sora在生成视频过程中能够精准还原用户的文本提示语义。除了文本生成视频之外,Sora还能根据图像生成视频,并能准确地对图像内容进行动画处理。它也能提取视频中的元素,对其进行扩展或填充缺失的帧,功能非常全面。
Sora可以深度模拟真实物理世界,能生成具有多个角色、包含特定运动的复杂场景。它不仅能理解用户在提示中提出的要求,还了解这些物体在物理世界中的存在方式。这意味着,通过简短的文本提示或一张静态图片,Sora能够生成持续一分钟左右的1080P高清视频,涵盖多个角色、不同类型的动作和背景细节等,几乎达到了电影级别的逼真程度。
对于需要制作视频的艺术家、电影制片人或学生来说,Sora带来了无限可能。它是OpenAI"教AI理解和模拟运动中的物理世界"计划的其中一步,也标志着人工智能在理解真实世界场景并与之互动的能力方面实现飞跃。业内分析人士认为,Sora无疑是人工智能领域的一次重大突破,该技术不仅展示了AI在理解和创造复杂视觉内容方面的先进能力,而且对内容创作、娱乐和影视制作行业带来了前所未有的挑战和机遇。
然而,随着Sora等AI技术的发展和应用,我们也需要关注并解决由此产生的伦理、版权等问题,确保AI技术的健康、可持续发展。