阿里云魔搭发起“ModelScope-Sora开源计划”,将为中国类Sora模型开发提供一站式工具链

在2024年3月23日的全球开发者先锋大会上,阿里云的魔搭社区宣布了一个新计划:"ModelScope-Sora开源计划"。这个计划旨在通过开源方式,帮助中国在Sora模型类型上做出更多创新。这个计划提供了一整套工具,包括处理数据的工具、多模态数据集、Sora模型的基础版本和训练推理工具等。

魔搭社区还推出了一个叫做Data-Juicer的系统,这是第一个为多模态数据处理而开源的系统。它包含了很多高效的工具,可以大大提高处理视频数据的效率和质量。

Sora模型因为使用了大量的高质量数据,所以在技术上引起了很大的关注。阿里通义实验室的专家李雅亮说,数据的质量决定了机器学习能达到的高度。只有高质量、细致、大量的数据,才能让模型训练得更好。

但是,处理Sora模型类型的数据非常具有挑战性。现有的数据处理工具大多不是为多模态数据设计的,尤其是视频数据。因此,魔搭社区首先推出了Data-Juicer系统,这个系统可以筛选和优化多模态数据,使其更高质量、更丰富、更容易处理。

魔搭开源的Data-Juicer流程示意图

Data-Juicer支持处理文本、图片、音频和视频,它有很多功能,比如筛选、映射、去重、格式化输出和美学评分等。开发者可以像玩乐高一样自由组合这些功能。例如,它可以自动剪辑视频,提高分辨率,调整宽高比,去除文本段落,甚至可以计算视频中的动态和静态部分,只保留精彩的瞬间。

魔搭开源的lite-Sora模型架构图

魔搭社区还推出了一个基于Data-Juicer的沙盒实验室,让研发人员可以在小规模数据集和模型上快速实验,找到最佳的方法。然后,他们可以使用阿里云PAI来处理大规模数据,并在PAI上完成模型的训练和推理。

此外,魔搭社区还开源了一个基础版的Sora模型,华东师范大学的段忠杰博士和魔搭社区合作,创建了一个名为lite-Sora的视频生成模型,并在小规模数据集上进行了初步训练。

魔搭社区还计划举办"ModelScope-Sora挑战赛",鼓励更多开发者创建并开源自己的Sora模型,共同推动中国多模态大模型的发展。同时,魔搭社区也在努力构建一个开放的、高质量的中文多模态数据集。作为中国最大和最活跃的AI开源模型社区,阿里云魔搭已经聚集了3000多个优质模型和上千个数据集,为超过400万开发者提供服务。

相关推荐
Johny_Zhao3 小时前
Docker + CentOS 部署 Zookeeper 集群 + Kubernetes Operator 自动化运维方案
linux·网络安全·docker·信息安全·zookeeper·kubernetes·云计算·系统运维
鸭鸭鸭进京赶烤4 小时前
大学专业科普 | 云计算、大数据
大数据·云计算
AI生存日记6 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
步、步、为营7 小时前
.net开源库SignalR
开源·.net
SH11HF8 小时前
小菜狗的云计算之旅,学习了解rsync+sersync实现数据实时同步(详细操作步骤)
学习·云计算
国服第二切图仔10 小时前
文心开源大模型ERNIE-4.5-0.3B-Paddle私有化部署保姆级教程及技术架构探索
百度·架构·开源·文心大模型·paddle·gitcode
钱彬 (Qian Bin)10 小时前
一文掌握Qt Quick数字图像处理项目开发(基于Qt 6.9 C++和QML,代码开源)
c++·开源·qml·qt quick·qt6.9·数字图像处理项目·美观界面
步、步、为营11 小时前
.net开源物联网项目IoTSharp
物联网·开源·.net
搞笑的秀儿11 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链
斯~内克12 小时前
Centrifugo 深度解析:构建高性能实时应用的开源引擎
前端·开源