AI 视频 | Stable Video Diffusion 来了!(附体验地址)

11 月 21 日,Stability AI 推出了 Stable Video Diffusion,这是 Stability AI 的第一个基于图像模型 Stable Diffusion 的生成式视频基础模型。

目前 Stability AI 已经在 GitHub 上开源了 Stable Video Diffusion 的代码,在 Hugging Face 上也可以找到模型本地运行所需要的 weights。

GitHub

github.com/Stability-A...

Hugging Face

huggingface.co/stabilityai...

目前该视频模型可以很容易地适配下游各种任务,并计划基于此基础模型建立一系列模型,类似于围绕 stable diffusion 建立一个生态系统。

在外部评估中,Stable Video Diffusion 发布的两种图片生视频的模型 SVD 和 SVD-XT,在用户偏好研究中,已经超过了 Runway 和 Pika Labs。

需要注意的是:

1、Stability AI 强调,此模型现阶段还不适用于实际或者商业应用。

2、网页的体验目前还未向所有人开放,可以在这里申请候补(stability.ai/contact)

另外,stable-video-diffusion-img2vid-xt 还有一些局限性,在 Hugging Face 上也说明了,该模型仅用于研究目的。

局限性

1、生成的视频相当短(<=4秒),并且该模型无法实现完美的照片级别的视频。

2、当前模型可能会生成没有运动的视频,或非常缓慢的相机平移的视频。

3、无法通过文本控制模型。

4、模型无法呈现清晰的文本。

5、面孔和人物可能无法正确生成。

6、模型的自编码部分是有损耗的。

如何体验

Hugging Face 上的体验地址:huggingface.co/spaces/mult...

不过上传图片点生成后,提示「This application is too busy」。

后来看到国外一位大佬的分享:colab.research.google.com/github/mksh...

打开链接后,点击「代码执行程序」-「全部运行」就可以了,过程有点慢,感兴趣的小伙伴可以跑一下~

关于 Stable Video Diffusion 更多详细的介绍,可以查看论文:stability.ai/research/st...

参考网址

stability.ai/news/stable...

相关推荐
在猴站学算法2 小时前
机器学习(西瓜书) 第二章 模型评估与选择
人工智能·机器学习
科技宅说3 小时前
36氪专访丨乐橙CEO谢运:AI科技下的业务创新与长期主义下的品牌坚守
人工智能·科技
学术小八4 小时前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr
仗剑_走天涯5 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
cnbestec6 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl6 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji7 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头8 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
墨风如雪8 小时前
万亿参数炸裂!Kimi K2 降临,中国 AI 新时代开启?
aigc
说私域8 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序