huggingface下载model

0x00 背景

  • 服务器的普通用户,不具有root权限
  • 服务器网络不稳定

0x01 解决办法

使用镜像【HF-Mirror】提供的工具hfd

方法三:使用 hfd

hfd 是本站开发的 huggingface 专用下载工具,基于成熟工具 git+aria2,可以做到稳定下载不断线。

1. 下载hfd

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

3.1 下载模型

./hfd.sh gpt2 --tool aria2c -x 4

3.2 下载数据集

./hfd.sh wikitext --dataset --tool aria2c -x 4

因为我本机没有aria2c,并且没有root权限无法下载,所以采取的tools是wget【实际上可以通过下载aria2c的可执行文件然后软连接实现】

./hfd.sh stabilityai/stable-diffusion-3-medium --hf_username huggingface用户名--hf_token hf_**** --tool wget

0x02 尝试过的方法

1.配置代理

clash之类没有root权限无法安装。v2ray则是暂时还没看懂config.json怎么写;而且代理的流量也是很金贵,还不太稳定。

2. huggingface-cli

hf镜像网站提供的方法,但是实际上有的时候还是会报错。实际上还是connect_timeout。但是有的时候会成功,并且速率还很快。

3. winscap上传

下载到本地PC,然后winscap上传。但是由于不稳定,经常中断并且上传速率极慢。传了一晚上传了3个G,实在不行,遂放弃。

后来还考虑开一个内网穿透,但是因为没有支撑大流量的公网ip,遂放弃。

相关推荐
小丑西瓜66637 分钟前
分布式简单理解
linux·redis·分布式·架构·架构演变
高hongyuan1 小时前
计算机网络
linux·计算机网络
EPSDA2 小时前
Linux线程池
linux·运维·服务器·开发语言·c++
我爱蛋蛋后2 小时前
Linux驱动开发之音频驱动与基础应用编程
linux·c语言·驱动开发·音视频
你好呀我是裤裤3 小时前
Linux基础开发工具的使用(apt、vim、gcc、g++、gdb、make、makefile)
linux·运维·vim
望获linux3 小时前
如何在望获实时 Linux & 京博航友善 NanoPC-T6 上部署 Docker
linux·运维·服务器·docker·eureka·开源软件
wangchen_03 小时前
linux编译器和自动化构建工具(gcc与Makeile)
linux·运维·服务器
DC_BLOG3 小时前
Linux-Ansible命令
linux·运维·服务器·ansible
suenpeng3 小时前
安全运维,等保测试常见解决问题。
linux·运维·安全
码农君莫笑4 小时前
Linux系统上同时打印到物理打印机并生成PDF副本方法研究
linux·前端·chrome·打印·信管通