【狂飙全模态】狂飙AGI-Wan2.1文生视频实战部署-Gradio篇

Wan2.1文生视频实战部署-Gradio篇

    • [一、Wan2.1 初体验](#一、Wan2.1 初体验)
    • 二、Wan2.1文生视频实战
      • [1 WebUI界面部署](#1 WebUI界面部署)
      • [2 LoRA模型的应用](#2 LoRA模型的应用)
      • [3 脚本中各项参数的使用](#3 脚本中各项参数的使用)

一、Wan2.1 初体验

魔搭社区创空间的体验Demo:https://modelscope.cn/studios/ybh618/Wan-2.1

二、Wan2.1文生视频实战

1 WebUI界面部署

为了提供更好的体验,本文介绍如何使用魔搭社区的免费GPU给自己部署一个独占算力通道的WebUI界面玩转Wan2.1文生视频模型。

  1. 以下链接直达脚本教程:https://modelscope.cn/notebook/share/ipynb/f548cee3/wan_gradio.ipynb

  2. 在Notebook中打开,选择使用GPU打开

3.进入到notebook页面,按顺序执行提供的脚本教程

  1. 点击链接进入网站(建议使用谷歌浏览器,兼容性较好)
  1. 这就完成了在魔搭免费GPU算力中部署一个WebUI,独享算力通道玩转Wan2.1 文生视频模型啦!

2 LoRA模型的应用

  1. 如果已有LoRA文件,将其放在DiffSynth-Studio/models/lora/文件夹里。
  2. 再次点击运行。
  3. 重复文生视频的操作。

3 脚本中各项参数的使用

  1. 下载并安装DiffSynth-Studio,这是魔搭社区的开源Diffusion模型引擎

    项目链接: https://github.com/modelscope/DiffSynth-Studio

    bash 复制代码
    git clone https://github.com/modelscope/DiffSynth-Studio.git
    cd DiffSynth-Studio
    pip install -e .

2. wan2.1-t2v-1.3b文生视频模型包含3个组件:文本编码器、扩散模型和视频解码器。需要从魔搭模型库中下载3个组件对应的模型文件,并将这些模型文件放置到对应文件夹:

  • 文本编码器: models/Wan-AI/Wan2.1-T2V-1.3B/diffusion_pytorch_model.safetensors
  • 扩散模型: models/Wan-AI/Wan2.1-T2V-1.3B/models_t5_umt5-xxl-enc-bf16.pth
  • 视频解码器: models/Wan-AI/Wan2.1-T2V-1.3B/Wan2.1_VAE.pth

如果需要更换14b的模型,在截图下更改模型即可

下面就是一些gradio界面代码了,大家可以对照界面参考一下

相关推荐
stormzhangV6 小时前
为什么你的 AI 像智障
人工智能
ai产品老杨7 小时前
H264 H265视频分析常见问题和排查清单
人工智能·算法·音视频
项目经理老王7 小时前
OpenClaw无捆绑安装包,安全纯净版AI助手部署
人工智能·安全
梦帮科技7 小时前
GRAVIS v4.0:基于Web的极速套利架构设计与实时数据流实现
前端·人工智能·rust·自动化·区块链·智能合约·数字货币
“码”力全开7 小时前
AI视频分析API性能优化指南
人工智能·性能优化·音视频
liuyicenysabel7 小时前
大模型学习笔记 · 第八篇 · 进阶:偏好对齐与多卡训练
人工智能·笔记·学习
CIO_Alliance8 小时前
iPaaS 生态与选型对比(1)| 开源vs商业 iPaaS:国内外iPaaS系统集成平台怎么选
人工智能·科普·ipaas·选型·系统集成
米小虾8 小时前
为什么 AI 的下一个突破口,不是更大的模型,而是更好的"世界"?
人工智能·agent
有什么事8 小时前
合规倒逼业务重构:豆包下线UGC智能体背后的AI产业变革
人工智能·智能手机
甲维斯8 小时前
Fable5:20美金的顶级设计师!
前端·人工智能