AI 视频 | Stable Video Diffusion 来了!(附体验地址)

11 月 21 日,Stability AI 推出了 Stable Video Diffusion,这是 Stability AI 的第一个基于图像模型 Stable Diffusion 的生成式视频基础模型。

目前 Stability AI 已经在 GitHub 上开源了 Stable Video Diffusion 的代码,在 Hugging Face 上也可以找到模型本地运行所需要的 weights。

GitHub

github.com/Stability-A...

Hugging Face

huggingface.co/stabilityai...

目前该视频模型可以很容易地适配下游各种任务,并计划基于此基础模型建立一系列模型,类似于围绕 stable diffusion 建立一个生态系统。

在外部评估中,Stable Video Diffusion 发布的两种图片生视频的模型 SVD 和 SVD-XT,在用户偏好研究中,已经超过了 Runway 和 Pika Labs。

需要注意的是:

1、Stability AI 强调,此模型现阶段还不适用于实际或者商业应用。

2、网页的体验目前还未向所有人开放,可以在这里申请候补(stability.ai/contact)

另外,stable-video-diffusion-img2vid-xt 还有一些局限性,在 Hugging Face 上也说明了,该模型仅用于研究目的。

局限性

1、生成的视频相当短(<=4秒),并且该模型无法实现完美的照片级别的视频。

2、当前模型可能会生成没有运动的视频,或非常缓慢的相机平移的视频。

3、无法通过文本控制模型。

4、模型无法呈现清晰的文本。

5、面孔和人物可能无法正确生成。

6、模型的自编码部分是有损耗的。

如何体验

Hugging Face 上的体验地址:huggingface.co/spaces/mult...

不过上传图片点生成后,提示「This application is too busy」。

后来看到国外一位大佬的分享:colab.research.google.com/github/mksh...

打开链接后,点击「代码执行程序」-「全部运行」就可以了,过程有点慢,感兴趣的小伙伴可以跑一下~

关于 Stable Video Diffusion 更多详细的介绍,可以查看论文:stability.ai/research/st...

参考网址

stability.ai/news/stable...

相关推荐
ai小鬼头1 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
墨风如雪1 小时前
万亿参数炸裂!Kimi K2 降临,中国 AI 新时代开启?
aigc
说私域2 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊2 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor
12点一刻3 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务3 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观
JNU freshman3 小时前
计算机视觉速成 之 概述
人工智能·计算机视觉
说私域4 小时前
基于开源AI大模型AI智能名片S2B2C商城小程序源码的私域流量新生态构建
人工智能·开源
HollowKnightZ4 小时前
目标姿态估计综述:Deep Learning-Based Object Pose Estimation: A Comprehensive Survey
人工智能·深度学习
PetterHillWater5 小时前
AI编程之CodeBuddy的小试
后端·aigc