阿里云魔搭发起“ModelScope-Sora开源计划”,将为中国类Sora模型开发提供一站式工具链

在2024年3月23日的全球开发者先锋大会上,阿里云的魔搭社区宣布了一个新计划:"ModelScope-Sora开源计划"。这个计划旨在通过开源方式,帮助中国在Sora模型类型上做出更多创新。这个计划提供了一整套工具,包括处理数据的工具、多模态数据集、Sora模型的基础版本和训练推理工具等。

魔搭社区还推出了一个叫做Data-Juicer的系统,这是第一个为多模态数据处理而开源的系统。它包含了很多高效的工具,可以大大提高处理视频数据的效率和质量。

Sora模型因为使用了大量的高质量数据,所以在技术上引起了很大的关注。阿里通义实验室的专家李雅亮说,数据的质量决定了机器学习能达到的高度。只有高质量、细致、大量的数据,才能让模型训练得更好。

但是,处理Sora模型类型的数据非常具有挑战性。现有的数据处理工具大多不是为多模态数据设计的,尤其是视频数据。因此,魔搭社区首先推出了Data-Juicer系统,这个系统可以筛选和优化多模态数据,使其更高质量、更丰富、更容易处理。

魔搭开源的Data-Juicer流程示意图

Data-Juicer支持处理文本、图片、音频和视频,它有很多功能,比如筛选、映射、去重、格式化输出和美学评分等。开发者可以像玩乐高一样自由组合这些功能。例如,它可以自动剪辑视频,提高分辨率,调整宽高比,去除文本段落,甚至可以计算视频中的动态和静态部分,只保留精彩的瞬间。

魔搭开源的lite-Sora模型架构图

魔搭社区还推出了一个基于Data-Juicer的沙盒实验室,让研发人员可以在小规模数据集和模型上快速实验,找到最佳的方法。然后,他们可以使用阿里云PAI来处理大规模数据,并在PAI上完成模型的训练和推理。

此外,魔搭社区还开源了一个基础版的Sora模型,华东师范大学的段忠杰博士和魔搭社区合作,创建了一个名为lite-Sora的视频生成模型,并在小规模数据集上进行了初步训练。

魔搭社区还计划举办"ModelScope-Sora挑战赛",鼓励更多开发者创建并开源自己的Sora模型,共同推动中国多模态大模型的发展。同时,魔搭社区也在努力构建一个开放的、高质量的中文多模态数据集。作为中国最大和最活跃的AI开源模型社区,阿里云魔搭已经聚集了3000多个优质模型和上千个数据集,为超过400万开发者提供服务。

相关推荐
Huaqiwill1 小时前
Ubuntun搭建并行计算环境
linux·云计算
非著名程序员2 小时前
腾讯为什么支持开源?
开源
CSDN云计算2 小时前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
为什么这亚子3 小时前
九、Go语言快速入门之map
运维·开发语言·后端·算法·云原生·golang·云计算
划水小将军3 小时前
阿里云函数计算GBK编码
阿里云·云计算
customer083 小时前
【开源免费】基于SpringBoot+Vue.JS医院管理系统(JAVA毕业设计)
java·vue.js·spring boot·后端·spring cloud·开源·intellij-idea
沈艺强4 小时前
云计算答案
云计算
Thanks_ks6 小时前
探索计算机互联网的奇妙世界:从基础到前沿的无尽之旅
物联网·云计算·区块链·tcp/ip协议·计算机互联网·万维网·未来科技
梓羽玩Python6 小时前
推荐一款用了5年的全能下载神器:Motrix!全平台支持,不限速下载网盘文件就靠它!
程序员·开源·github