OpenDataLab 数据集下载

OpenDataLab 为大模型提供高质量的开放数据集

在人工智能的演进历程中，数据是至关重要的基础设施。然而，当前数据源的碎片化、格式的多样性以及获取的高门槛，严重阻碍了 AI 研究与应用的落地。为了打破这一数据壁垒，OpenDataLab（浦数）应运而生。

作为上海人工智能实验室推出的新一代超大规模、高质量、多模态公开数据集开放平台，OpenDataLab 致力于成为 AI 大模型时代的"数据字典与百科全书"，为国产大模型的研发提供坚实的数据基座。

网址链接：https://opendatalab.com/

OpenDataLab 汇聚了海量且高质量的开源数据资源，目前已构建并收录了 8000+ 优质开源数据集，涵盖 1300+ 种任务类型，总数据规模突破 220TB，累计下载量高达数百万次。

多模态与多场景：平台提供文本、图像、音视频、3D/4D 等多模态数据，覆盖 30+ 应用场景和 20+ 标注类型。

全生命周期支持：数据集涵盖"基础语料"与"专项语料"，全面支持大模型从预训练、微调（SFT）到评测的全生命周期需求。

原创高质量语料：得益于原创的数据清洗技术，平台推出了"万卷（WanJuan）"系列等高质量原创数据集，大幅提升了模型训练效率。

官网推荐了2种方式：CLI 下载和SDK 下载

本人认为CLI方式更方便

数据下载CLI方式，以SUN397数据为例

python 复制代码

  pip install openxlab #安装

  pip install -U openxlab #版本升级

  openxlab login  #进行登录，输入对应的AK/SK

  openxlab dataset info --dataset-repo OpenDataLab/SUN397  #数据集信息及文件列表查看

  openxlab dataset get --dataset-repo OpenDataLab/SUN397 --target-path G:\door_data  #整个数据集下载（指定下载的位置）

  openxlab dataset download --dataset-repo OpenDataLab/SUN397 --source-path /README.md --target-path /path/to/local/folder  #指定部分数据集文件下载

注意openxlab安装可能报错

要求python版本3.6 以上，但3.6报错，实测3.9 可以正确安装。