huggingface下载model

0x00 背景

  • 服务器的普通用户,不具有root权限
  • 服务器网络不稳定

0x01 解决办法

使用镜像【HF-Mirror】提供的工具hfd

方法三:使用 hfd

hfd 是本站开发的 huggingface 专用下载工具,基于成熟工具 git+aria2,可以做到稳定下载不断线。

1. 下载hfd

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

3.1 下载模型

./hfd.sh gpt2 --tool aria2c -x 4

3.2 下载数据集

./hfd.sh wikitext --dataset --tool aria2c -x 4

因为我本机没有aria2c,并且没有root权限无法下载,所以采取的tools是wget【实际上可以通过下载aria2c的可执行文件然后软连接实现】

./hfd.sh stabilityai/stable-diffusion-3-medium --hf_username huggingface用户名--hf_token hf_**** --tool wget

0x02 尝试过的方法

1.配置代理

clash之类没有root权限无法安装。v2ray则是暂时还没看懂config.json怎么写;而且代理的流量也是很金贵,还不太稳定。

2. huggingface-cli

hf镜像网站提供的方法,但是实际上有的时候还是会报错。实际上还是connect_timeout。但是有的时候会成功,并且速率还很快。

3. winscap上传

下载到本地PC,然后winscap上传。但是由于不稳定,经常中断并且上传速率极慢。传了一晚上传了3个G,实在不行,遂放弃。

后来还考虑开一个内网穿透,但是因为没有支撑大流量的公网ip,遂放弃。

相关推荐
运维&陈同学38 分钟前
【zookeeper03】消息队列与微服务之zookeeper集群部署
linux·微服务·zookeeper·云原生·消息队列·云计算·java-zookeeper
周末不下雨2 小时前
win11+ubuntu22.04双系统 | 联想 24 y7000p | ubuntu 22.04 | 把ubuntu系统装到1T的移动固态硬盘上!!!
linux·运维·ubuntu
哎呦喂-ll2 小时前
Linux进阶:环境变量
linux
Rverdoser2 小时前
Linux环境开启MongoDB的安全认证
linux·安全·mongodb
PigeonGuan2 小时前
【jupyter】linux服务器怎么使用jupyter
linux·ide·jupyter
东华果汁哥3 小时前
【linux 免密登录】快速设置kafka01、kafka02、kafka03 三台机器免密登录
linux·运维·服务器
咖喱鱼蛋3 小时前
Ubuntu安装Electron环境
linux·ubuntu·electron
ac.char3 小时前
在 Ubuntu 系统上安装 npm 环境以及 nvm(Node Version Manager)
linux·ubuntu·npm
肖永威3 小时前
CentOS环境上离线安装python3及相关包
linux·运维·机器学习·centos