MimicMotion (运动模仿)是具有置信感知姿势指导的高质量人体运动视频生成模型。只需要上传一张人物照片,然后再上传一段人物的舞蹈或者动作视频,就可以生成以照片中人物为原型的动作或者舞蹈视频。它可以在任何运动引导下生成任意长度的高质量视频。目前它支持 576x1024 分辨率,视频的帧率最多为 72 帧。
本平台提供了官方未提供的ui界面,使用更方便快捷。
一、 创建容器镜像
- 进入算家云平台的"应用社区",输入"mimicmotion"进行搜索,或在模型镜像库中找到"mimicmotion",选择模型后点击"创建应用"即可进入租用实例页面。
- 进入"租用实例"之后选择 3090 显卡或4090显卡,点击"立即创建"即可创建实例。
- 也可以点击"专业创建",选择更多资源配置(该模型搭建需要3090显卡或优于3090的显卡)。
二、启动项目
点击"项目实例"再点击"webssh"开启终端(小黑屏)。
进入终端后复制以下命令输入到终端:
conda activate mimicmotion
cd MimicMotion/stabilityai
下载补齐模型文件使用:
git lfs install
git clone https://www.modelscope.cn/cjc1887415157/stable-video-diffusion-img2vid-xt-1-1.git
等模型下载完成之后,输入下面命令即可开始运行:
cd ..
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080
python gradio_app.py
出现下图即表示模型开始运行:
三、开启外部访问
返回"项目实例"列表,选择并点击对应实例的"更多"-"开放端口"操作。
等待页面刷新后,选择并点击对应实例的"更多"-->"开放端口"-->"获取访问地址"操作。访问的网址就已经复制到剪切板。
四、访问获取的地址,开始使用
将访问网址复制到新网页即可开始 ui 界面的使用。