下载数据集

在 Ubuntu 上下载 Hugging Face 数据集,我推荐使用 `huggingface-cli` 这个官方工具,它稳定且支持断点续传。国内用户配置 `hf-mirror.com` 镜像站后,下载速度会快很多。

下面是完整的命令步骤,你可以逐条复制执行。

🐧 Ubuntu 完整下载命令

打开你的终端 (Terminal),依次运行以下命令:

**1. 安装依赖**

首先,确保系统安装了 `git-lfs`,这是下载大文件所必需的。

```bash

sudo apt update

sudo apt install git-lfs -y

git lfs install

```

**2. 安装 huggingface-cli**

这是 Hugging Face 官方的下载工具。

```bash

pip install -U huggingface_hub

```

**3. 配置国内镜像加速(关键步骤)**

这一步会将下载源切换到国内镜像站,能大幅提升下载速度和稳定性。

```bash

export HF_ENDPOINT=https://hf-mirror.com

```

为了让这个配置在下次打开终端时依然生效,可以把它写入配置文件:

```bash

echo 'export HF_ENDPOINT=https://hf-mirror.com' >> ~/.bashrc

```

**4. 执行下载命令**

根据你截图中的信息,数据集ID是 `Dobot-Official/Dobot-xtrainer-demo-data`。运行以下命令即可将它下载到当前目录下的 `Dobot-xtrainer-demo-data` 文件夹中。

```bash

huggingface-cli download Dobot-Official/Dobot-xtrainer-demo-data \

--repo-type dataset \

--local-dir ./Dobot-xtrainer-demo-data \

--resume-download

```

**参数说明:**

* `Dobot-Official/Dobot-xtrainer-demo-data`:你要下载的数据集ID。

* `--repo-type dataset`:指定下载的是一个**数据集**(而不是模型)。

* `--local-dir ./Dobot-xtrainer-demo-data`:指定文件保存的本地路径。

* `--resume-download`:启用**断点续传**功能,如果下载中断,再次运行相同命令即可继续,不用担心数据丢失。


🚀 备选方案:使用 `hfd` 脚本(追求极致速度)

如果你熟悉命令行,并且希望下载速度更快,可以使用 `hfd` 脚本,它调用 `aria2` 进行多线程下载,能跑满带宽。

```bash

1. 安装 aria2 下载工具

sudo apt install aria2 -y

2. 下载 hfd 脚本并赋予执行权限

wget https://hf-mirror.com/hfd/hfd.sh

chmod a+x hfd.sh

3. 设置镜像站

export HF_ENDPOINT=https://hf-mirror.com

4. 执行下载(使用 4 个线程,可根据网络情况调整)

./hfd.sh Dobot-Official/Dobot-xtrainer-demo-data \

--dataset \

--tool aria2c \

-x 4

```

> **请注意**:这个 6.12GB 的数据集下载需要一些时间,请确保网络稳定,并且有足够的磁盘空间。如果在下载中遇到任何错误,可以把提示信息发给我看看。

相关推荐
做一个AK梦6 分钟前
DevOps
运维·devops
hzxpaipai9 分钟前
杭州网站运维|企业官网上线前技术检查清单:SEO、GEO、安全、服务器与备份
运维·服务器·nginx·安全
优化Henry13 分钟前
关于“星链”互联网系统的几点认识
运维·服务器·网络·笔记·学习·信息与通信
沫璃染墨15 分钟前
《从零入门Linux系统篇(二十八):文件篇·一——Linux为什么“万物皆文件”:从C语言文件流到系统调用》
linux·运维·服务器·开发语言·c++·文件
其实防守也摸鱼2 小时前
推荐一个自动化教育SRC漏洞挖掘系统--AutoHunter
运维·开发语言·人工智能·学习·安全·web安全·自动化
九硕智慧建筑一体化厂家2 小时前
智慧建筑高效管控!楼宇自控系统赋能新能源园区智能运维
运维·人工智能·笔记·智慧城市
咯哦哦哦哦4 小时前
linux so库(arm)对比分析
linux·运维·arm开发
星野川崎2069 小时前
电商多店运维:云机24小时挂机频繁掉线、账号无故风控深度原因分析及解决方案
大数据·运维·服务器·云计算·电商
不灭的程序员阿澄11 小时前
在飞牛 NAS 上用 Docker 运行 DeepSeek Harness
运维·docker·容器
Elastic 中国社区官方博客12 小时前
让大模型思考,让小模型执行:在 Elastic Workflows 中拆分 LLM 成本
大数据·运维·数据库·人工智能·elasticsearch·ai