浅谈人工智能之基于容器云进行图生视频大模型搭建

浅谈人工智能之基于容器云进行图生视频大模型搭建

根据之前我们所讲过的内容:
文生图
文生视频

我们继续讲解图生视频大模型搭建。

引言

随着深度学习技术的不断发展,图生视频(image-to-video)大模型成为了计算机视觉和自然语言处理领域的一个研究热点。图生视频模型可以根据输入的文本描述生成高质量的视频,广泛应用于艺术创作、广告设计、虚拟现实等领域。本文将介绍如何搭建一个基于iic/Image-to-Video的文生视频大模型。

模型效果展示

我们首先看一下我们对搭建好的模型的效果进行展示,我们输入的图片如下:
## 环境搭建

基于上一篇文生图的模型搭建,我们进行文生视频的搭建。

第一步:依赖安装

bash 复制代码
pip install modelscope==1.8.4
pip install xformers==0.0.20
pip install torch==2.0.1
pip install open_clip_torch>=2.0.2
pip install opencv-python-headless
pip install opencv-python 
pip install einops>=0.4
pip install rotary-embedding-torch
pip install fairscale 
pip install scipy
pip install imageio
pip install pytorch-lightning
pip install torchsde

第二步:模型下载调用

python 复制代码
from modelscope.pipelines import pipeline
from modelscope.outputs import OutputKeys

pipe = pipeline(task="image-to-video", model='damo/Image-to-Video', model_revision='v1.1.0', device='cuda:0')

# IMG_PATH: your image path (url or local file)
output_video_path = pipe("/root/image.jpg", output_video='./output.mp4')[OutputKeys.OUTPUT_VIDEO]
print(output_video_path)

第三步:大概率情况下会提示没有安装ffmpeg提示

bash 复制代码
2024-11-26 17:10:12,990 - modelscope - ERROR - Save Video Error with /bin/sh: 1: ffmpeg: not found
2024-11-26 17:10:12,996 - modelscope - WARNING - task image-to-video output keys are missing

第四步:安装ffmpeg

bash 复制代码
sudo apt update
sudo apt install ffmpeg

第五步:再次跑py脚本,我就可以获得对应的输出视频了,如果上述跑脚本的时候提示缺少对应依赖,根据提示信息再对对应依赖进行安装部署。

相关推荐
九年义务漏网鲨鱼1 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
Antonio9151 小时前
【音视频】HLS简介与服务器搭建
运维·服务器·音视频
元宇宙时间1 小时前
Playfun即将开启大型Web3线上活动,打造沉浸式GameFi体验生态
人工智能·去中心化·区块链
开发者工具分享1 小时前
文本音频违规识别工具排行榜(12选)
人工智能·音视频
产品经理独孤虾2 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性
老任与码2 小时前
Spring AI Alibaba(1)——基本使用
java·人工智能·后端·springaialibaba
蹦蹦跳跳真可爱5892 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
雷羿 LexChien2 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt
两棵雪松3 小时前
如何通过向量化技术比较两段文本是否相似?
人工智能
heart000_13 小时前
128K 长文本处理实战:腾讯混元 + 云函数 SCF 构建 PDF 摘要生成器
人工智能·自然语言处理·pdf