huggingface下载model

0x00 背景

  • 服务器的普通用户,不具有root权限
  • 服务器网络不稳定

0x01 解决办法

使用镜像【HF-Mirror】提供的工具hfd

方法三:使用 hfd

hfd 是本站开发的 huggingface 专用下载工具,基于成熟工具 git+aria2,可以做到稳定下载不断线。

1. 下载hfd

复制代码
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

2. 设置环境变量
Linux

复制代码
export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

复制代码
$env:HF_ENDPOINT = "https://hf-mirror.com"

3.1 下载模型

复制代码
./hfd.sh gpt2 --tool aria2c -x 4

3.2 下载数据集

复制代码
./hfd.sh wikitext --dataset --tool aria2c -x 4

因为我本机没有aria2c,并且没有root权限无法下载,所以采取的tools是wget【实际上可以通过下载aria2c的可执行文件然后软连接实现】

复制代码
./hfd.sh stabilityai/stable-diffusion-3-medium --hf_username huggingface用户名--hf_token hf_**** --tool wget

0x02 尝试过的方法

1.配置代理

clash之类没有root权限无法安装。v2ray则是暂时还没看懂config.json怎么写;而且代理的流量也是很金贵,还不太稳定。

2. huggingface-cli

hf镜像网站提供的方法,但是实际上有的时候还是会报错。实际上还是connect_timeout。但是有的时候会成功,并且速率还很快。

3. winscap上传

下载到本地PC,然后winscap上传。但是由于不稳定,经常中断并且上传速率极慢。传了一晚上传了3个G,实在不行,遂放弃。

后来还考虑开一个内网穿透,但是因为没有支撑大流量的公网ip,遂放弃。

相关推荐
好好学习啊天天向上7 分钟前
世上最全:ubuntu 上及天河超算上源码编译llvm遇到的坑,cmake,ninja完整过程
linux·运维·ubuntu·自动性能优化
tan180°1 小时前
MySQL表的操作(3)
linux·数据库·c++·vscode·后端·mysql
典学长编程2 小时前
Linux操作系统从入门到精通!第二天(命令行)
linux·运维·chrome
wuk9982 小时前
基于MATLAB编制的锂离子电池伪二维模型
linux·windows·github
独行soc5 小时前
#渗透测试#批量漏洞挖掘#HSC Mailinspector 任意文件读取漏洞(CVE-2024-34470)
linux·科技·安全·网络安全·面试·渗透测试
BD_Marathon5 小时前
Ubuntu下Tomcat的配置
linux·ubuntu·tomcat
饥饿的半导体5 小时前
Linux快速入门
linux·运维
BD_Marathon5 小时前
Ubuntu:Tomcat里面的catalina.sh
linux·ubuntu·tomcat
BD_Marathon5 小时前
设置LInux环境变量的方法和区别_Ubuntu/Centos
linux·ubuntu·centos
Me4神秘5 小时前
Linux国产与国外进度对垒
linux·服务器·安全