来自OpenAI的降维打击! OpenAI发布文生视频模型Sora——视频模型的奇点或许来临!!

手把手教你入门绘图超强的AI绘画,用户只需要输入一段图片的文字描述,即可生成精美的绘画。给大家带来了全新保姆级教程资料包 (文末可获取)

文章目录
  • 1 卓越能力
    • 1.1 60s超长时间 高度详细复杂的场景
    • 1.2 复杂的相机运动
    • 1.3 同一场景多个镜头
  • 2 技术原理
  • 3 不足
  • 4 安全战略
  • 5 碎碎念

OpenAI发布文生视频模型Sora------视频模型的奇点或许来临!!

初七啦,得开始工作了,没想到第一天就这么劲爆!

今天OpenAI迎来重大更新------发布视频模型Sora!!

官网Sora (openai.com)

说实话有点惊艳,在AI圈子里好多头部内容创作者看到都禁不住国粹了!

除了能够仅根据文本说明生成视频外(文生视频)

该模型还能够获取现有的静止图像并从中生成视频,从而准确无误地对图像内容进行动画处理,并注重小细节(图生视频)

该模型还可以拍摄现有视频并对其进行扩展或填充缺失的帧(帧填充)

目前更新只放出来了文生视频模式,并且只开放了一部分的内测,但已经激起了巨大的浪潮

1 卓越能力

1.1 60s超长时间 高度详细复杂的场景

Sora 能够生成具有多个角色、特定类型的运动以及主题和背景的准确细节的复杂场景。该模型不仅了解用户在提示中要求的内容,还了解这些内容在物理世界中的存在方式

不仅细节感拉满,而且可以达到60s!!!

如下所示提示词:

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

提示词:一位时尚的女人走在东京的街道上,街道上到处都是温暖的发光霓虹灯和动画城市标志。她身穿黑色皮夹克,红色长裙,黑色靴子,背着一个黑色钱包。她戴着墨镜,涂着红色口红。她自信而随意地走路。街道潮湿而反光,营造出五颜六色的灯光的镜面效果。许多行人四处走动。

可以生成如下的视频

tokyo-walk

点击链接查看视频
cdn.openai.com/sora/videos/tokyo-walk.mp4

1.2 复杂的相机运动

之前如果有关注过AI视频的朋友应该了解,之前的AI视频的相机即便是固定的,一动不动的,给人一种很呆板不真实的感觉,但Sora竟然可以实现很复杂的相机运镜,完全和真实拍摄无法区分

如下提示词

Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur's garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff's edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff's edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.

提示:无人机视角,海浪拍打着大苏尔加雷角海滩崎岖的悬崖。汹涌澎湃的蓝色海水掀起白色的波浪,而夕阳的金色光芒照亮了岩石海岸。远处有一个带灯塔的小岛,绿色的灌木丛覆盖着悬崖的边缘。从公路到海滩的陡峭落差是一项戏剧性的壮举,悬崖的边缘突出在海面上。这捕捉到了海岸的原始美景和太平洋海岸公路崎岖的景观。

可以生成如下的视频

big-sur

点击链接查看视频

https://cdn.openai.com/sora/videos/big-sur.mp4

1.3 同一场景多个镜头

该模型对语言有深刻的理解,使其能够准确地解释提示并生成表达生动情感的引人注目的角色。Sora 还可以在单个生成的视频中创建多个镜头,以准确保留角色和视觉风格。

如下提示词

Prompt:A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.

电影预告片,讲述了30岁的太空人戴着红色羊毛针织摩托车头盔的冒险经历,蓝天,盐沙漠,电影风格,用35毫米胶片拍摄,色彩鲜艳。

可以生成如下视频

mitten-astronaut

点击链接查看视频

https://cdn.openai.com/sora/videos/mitten-astronaut.mp4

2 技术原理

Sora是扩散模型,生成一个视频通过一个静止的噪声开始,然后逐步移除噪声,同时核心架构还是用的Transformer,建立在DALLE3和GPT上

通过让模型一次看到许多帧,他们解决了一个具有挑战性的问题,即确保一个主题即使暂时离开视野也能保持不变。

他们将视频和图像表示为称为patch的较小数据单元的集合,每个patch都类似于 GPT 中的一个token。通过统一表示数据的方式,可以在比以前更广泛的视觉数据上训练扩散变压器,跨越不同的持续时间、分辨率和纵横比。

3 不足

Sora官方也谦虚的指出了自己的模型存在的不足

  1. 可能难以准确模拟复杂场景的物理特性,并且可能无法理解因果关系的具体实例。例如,一个人可能会咬一口饼干,但之后,饼干可能没有咬痕。
  2. 还会混淆提示的空间细节,例如,左右混淆,并且可能难以精确描述随时间推移发生的事件,例如遵循特定的摄像机轨迹。

4 安全战略

针对安全方面

Sora和Red teamers(一家专注于提高IT安全的公司)合作,建造工具来区别一个视频是否是AI生成的,也会努力避免政治类,暴力类的视频生成

并且呼吁社会各界积极反馈,避免视频模型的滥用

5 碎碎念

在Sora官网最后,Sora官方说到

Sora serves as a foundation for models that can understand and simulate the real world, a capability we believe will be an important milestone for achieving AGI.

Sora是能够理解和模拟现实世界的模型的基础,我们相信这一能力将是实现AGI的重要里程碑。

在一些AI圈子里,看到人一些人们的热烈讨论

一些人说"有生第一次觉得,AI能不能技术发展不要那么快......"

AI头部大号卡兹克也第一时间发了文章,说到"现实,不存在了"

每一次的技术的重大更新,总是惊喜,恐惧并存

与其恐惧

不妨告诉自己

事情变得越来有趣了!

AI绘画所有方向的学习路线思维导图

这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。如果下面这个学习路线能帮助大家将AI利用到自身工作上去,那么我的使命也就完成了:

👉stable diffusion新手0基础入门PDF👈

👉AI绘画必备工具👈

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

👉12000+AI关键词大合集👈

这份完整版的AI绘画资料我已经打包好,戳下方蓝色字体,即可免费领取!CSDN大礼包:《全套AI绘画基础学习资源包》免费分享

相关推荐
Kai HVZ几秒前
《OpenCV计算机视觉》--介绍及基础操作
人工智能·opencv·计算机视觉
biter00885 分钟前
opencv(15) OpenCV背景减除器(Background Subtractors)学习
人工智能·opencv·学习
吃个糖糖11 分钟前
35 Opencv 亚像素角点检测
人工智能·opencv·计算机视觉
IT古董1 小时前
【漫话机器学习系列】017.大O算法(Big-O Notation)
人工智能·机器学习
凯哥是个大帅比1 小时前
人工智能ACA(五)--深度学习基础
人工智能·深度学习
m0_748232921 小时前
DALL-M:基于大语言模型的上下文感知临床数据增强方法 ,补充
人工智能·语言模型·自然语言处理
szxinmai主板定制专家1 小时前
【国产NI替代】基于FPGA的32通道(24bits)高精度终端采集核心板卡
大数据·人工智能·fpga开发
海棠AI实验室2 小时前
AI的进阶之路:从机器学习到深度学习的演变(三)
人工智能·深度学习·机器学习
机器懒得学习2 小时前
基于YOLOv5的智能水域监测系统:从目标检测到自动报告生成
人工智能·yolo·目标检测
QQ同步助手2 小时前
如何正确使用人工智能:开启智慧学习与创新之旅
人工智能·学习·百度