如何在算家云搭建OpenSora 1.2（文本生成视频）

一. OpenSora 1.2简介

1. 技术特点

高清视频生成 ：

OpenSora 1.2 在 720p 高清文生视频质量和生成时长上取得了突破性进展，支持无缝产出任意风格的高质量短片。
通过引入视频压缩网络（VAE）和更优的扩散模型算法，显著提升了视频生成的质量和效率。

视频压缩网络 ：

OpenSora 团队提出了一个创新的视频压缩网络，该网络在空间和时间两个维度上分别进行压缩。首先在空间维度上进行 8x8 倍的压缩，接着在时间维度上进一步压缩了 4 倍。这种压缩策略既避免了因抽帧而牺牲视频流畅度的弊端，又大幅降低了训练成本。

更优的扩散模型算法 ：

基于 Stable Diffusion 3 的研究成果，OpenSora 团队提供了一套完整的训练解决方案，包括简单易用的整流（rectified flow）训练、用于训练加速的 Logit-norm 时间步长采样、基于分辨率和视频长度的时间步长采样等。这些技术的整合不仅加快了模型的训练速度，还显著减少了推理阶段的等待时间。

模型评估体系 ：

OpenSora 团队构建了更完善的模型评估体系，保障模型的稳健性和泛化能力。他们跟踪了 100 张图像和 1k 个视频的校正流评估损失，并使用 VBench 进行自动视频评估，以监控训练过程和评估模型性能。

2. 应用场景

游戏开发 ：

游戏开发者可以使用 OpenSora 生成游戏场景、人物动画等，提升游戏画面表现力。

影视制作 ：

电影、电视剧等影视作品的制作人员可以使用 OpenSora 生成各种场景、特效等，为影视作品增添视觉效果。

广告制作 ：

广告制作人员可以使用 OpenSora 生成各种场景和动画，提升广告创意和视觉效果。

教育和培训 ：

OpenSora 可以用于制作教学视频、演示视频等，为用户提供更直观的学习体验。

个人创作 ：

个人用户可以使用 OpenSora 制作各种短视频，满足个人创作需求。

3. 其他特性

多语言能力 ：

OpenSora 1.2 通过用 mT5 替换了 T5，增强了多语言能力，使得模型能够更好地处理不同语言的文本输入。

生成可控性 ：

提供了更多的可控性选项，使用户能够根据需要调整生成的视频内容和风格。

支持任意长度和分辨率 ：

采用了 bucket 策略，从而支持生成任意长度和分辨率的视频。

4. 模型下载与资源

模型下载 ：OpenSora 1.2 的模型可以在 Hugging Face 等平台上免费下载和使用，具体链接如：Huggingface 模型下载。
代码资源 ：相关的代码和文档可以在 GitHub 等开源平台上找到，便于开发者进行二次开发和研究。

二、模型搭建流程

下面将以 open sora1.2 项目进行部署，由于模型较大，建议使用 RTX3090 及以上显卡 。

1. 选择主机和镜像

（1）在"租用实例"页面，点击进入应用社区，选择相应的模型

（2）点击"选择"后会自动匹配模型，选择 3090 卡，点击"立即创建"即可创建实例

2. 进入创建的实例

在"项目实例"页面点击对应实例的"Web SSH"操作

以下命令均在该页面进行

（1）打开文档

复制代码

cd Open-Sora

（2）激活虚拟环境 opensora

复制代码

conda activate opensora

（3）运行 py 文件

复制代码

export HF_ENDPOINT=https://hf-mirror.com
python scripts/inference.py configs/opensora-v1-2/inference/sample.py \
  --num-frames 4s --resolution 144p \
  --layernorm-kernel False --flash-attn False \
  --prompt "a beautiful room"

出现以下界面即为运行成功,红框内为保存视频的地址，返回项目实例的文件管理中找到该视频即可播放。

如果想要在网页查看视频，可以通过 python http 服务进行显示,以下示例为监听 8080 端口，继续进行下述操作步骤

复制代码

cd samples/samples
python -m http.server 8080

3.开启外部访问获取访问链接

返回"项目实例"列表，选择并点击对应实例"开放端口"操作。

可选择"对外开放端口"，实名认证后即可使用。

也可选择"本地私密访问"进行下载解压 ssh 工具，打开得到对应界面，选择对应的项目以及实例开放端口即可。

点击开放端口在浏览器输入 127.0.0.1：8080 即可访问。

打开浏览器输入 127.0.0.1：8080 即可显示运行的视频。

以上就是在算家云搭建OpenSora 1.2的流程，具体使用方式可进入算家云应用社区查看该模型的使用说明。

复制下方网址，进入算家云，选择模型，一键开启 AI 之旅！

算家云应用社区 www.suanjiayun.com/container/#/mirror