Stable Video Diffusion问世!3D合成功能引关注

Stable Diffusion官方终于对视频下手了------

发布生成式视频模型Stable Video Diffusion(SVD)

Stability AI官方博客显示,全新SVD支持文本到视频、图像到视频生成:

并且还支持物体从单一视角到多视角的转化,也就是3D合成

根据外部评估,官方宣称SVD甚至比runway和Pika的视频生成AI更受用户欢迎。

虽然目前只发布了基础模型,但官方透露"正计划继续扩展,建立类似于Stable Diffusion的生态系统"。

目前论文代码权重已上线。

最近视频生成领域不断出现新玩法,这次轮到Stable Diffusion下场,以至于网友们的第一反应就是"快",进步太快!

但仅从Demo效果来说,更多网友们表示并没有感到很惊喜。

虽然我喜欢SD,而且这些Demo也很棒......但也存在一些缺陷,光影不对、而且整体不连贯(视频帧与帧之间闪烁)。

总归来说这是个开始,网友对SVD的3D合成功能还满是看好:

我敢打赌,很快就会有更好的东西出来,到时候只要描述一下,就会得到一个完整的3D场景。

SD视频官方版来袭

除了上面展示的,官方还发布了更多Demo,先来看一波:

太空漫步也安排上:

背景不动,只让两只鸟动也可以:

SVD的研究论文目前也已发布,据介绍SVD基于Stable Diffusion 2.1,用约6亿个样本的视频数据集预训练了基础模型。

可轻松适应各种下游任务,包括通过对多视图数据集进行微调从单个图像进行多视图合成。

微调后,官方公布的是两种图像到视频模型,可以以每秒3到30帧之间的自定义帧速率生成14(SVD)和25帧(SVD-XT)的视频:

之后又微调了多视角视频生成模型,叫做SVD-MV:

根据测试结果,在GSO数据集上,SVD-MV得分优于多视角生成模型Zero123、Zero123XL、SyncDreamer:

值得一提的是,Stability AI表示SVD目前仅限于研究,不适用于实际或商业应用。SVD目前也不是所有人都可以使用,但已开放用户候补名单注册。

视频生成大爆发

最近视频生成领域呈现出一种"混战"的局面。

前有PikaLabs开发的文生视频AI:

后又有号称"史上最强大的视频生成AIMoonvalley推出:

最近Gen-2的 "运动笔刷" 功能也正式上线,指哪画哪:

这不现在SVD又出现了,又有要卷3D视频生成的可能。

但文本到3D生成方面好像还没有太多进展,网友对这一现象也很是困惑。

有人认为数据是阻碍发展的瓶颈:

还有网友表示原因在于强化学习还不够强:

家人们对这方面的最新进展有了解吗?欢迎评论区分享~

论文链接:static1.squarespace.com/static/6213...

参考链接:

1\][stability.ai/news/stable...](https://link.juejin.cn?target=https%3A%2F%2Fstability.ai%2Fnews%2Fstable-video-diffusion-open-ai-video-model "https://stability.ai/news/stable-video-diffusion-open-ai-video-model") \[2\][news.ycombinator.com/item?id=383...](https://link.juejin.cn?target=https%3A%2F%2Fnews.ycombinator.com%2Fitem%3Fid%3D38368287 "https://news.ycombinator.com/item?id=38368287")

相关推荐
墨风如雪25 分钟前
苹果设备上的“大模型炼丹炉”:mlx-lm-lora,让你的 Mac 变身 AI 工作站!
aigc
超龄超能程序猿43 分钟前
(三)PS识别:基于噪声分析PS识别的技术实现
图像处理·人工智能·计算机视觉
要努力啊啊啊44 分钟前
YOLOv3-SPP Auto-Anchor 聚类调试指南!
人工智能·深度学习·yolo·目标检测·目标跟踪·数据挖掘
好开心啊没烦恼1 小时前
Python 数据分析:numpy,说人话,说说数组维度。听故事学知识点怎么这么容易?
开发语言·人工智能·python·数据挖掘·数据分析·numpy
生态遥感监测笔记1 小时前
GEE利用已有土地利用数据选取样本点并进行分类
人工智能·算法·机器学习·分类·数据挖掘
天天扭码1 小时前
从图片到语音:我是如何用两大模型API打造沉浸式英语学习工具的
前端·人工智能·github
张彦峰ZYF2 小时前
从检索到生成:RAG 如何重构大模型的知识边界?
人工智能·ai·aigc
刘海东刘海东2 小时前
结构型智能科技的关键可行性——信息型智能向结构型智能的转变(修改提纲)
人工智能·算法·机器学习
**梯度已爆炸**2 小时前
NLP文本预处理
人工智能·深度学习·nlp
uncle_ll2 小时前
李宏毅NLP-8-语音模型
人工智能·自然语言处理·语音识别·语音模型·lm