huggingface下大模型最好的方案

一、背景:

搞模型应用,看看别家的模型,huggingface模型大市场,国际明星企业都在上发布开源大模型,一般5G,甚至10G更大,怎么下载呢?

二、方案

1、git clone 会把整个工程给下载下来,模型文件下载进度看不到

2、直接用网页下载,真实坑,不小心关了,还有网速真的慢,一般几个小时

3、最好方案huggingface_hub 库下载

三、解法

下单个sd xl refiner文件现在的目录

python 复制代码
from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="stabilityai/stable-diffusion-xl-refiner-1.0", filename="sd_xl_refiner_1.0.safetensors",local_dir="./")
python 复制代码
from huggingface_hub import snapshot_download # 看清楚
snapshot_download(repo_id="lysandre/arxiv-nlp",local_dir="./")