Huggingface镜像网站下载语言模型方法

通常通过镜像网站下载https://hf-mirror.com/

在链接页面有介绍方法,对于不大的模型可以直接下载。这里介绍比较常用且方便的下载方法。

使用huggingface 官方提供的 huggingface-cli 命令行工具

安装(huggingface_hub、hf_transfer安装可以使用-i命令从镜像网站下载)

shell 复制代码
pip install -U huggingface_hub hf_transfer

基本命令(每次打开远程链接都要输入)

shell 复制代码
export HF_HUB_ENABLE_HF_TRANSFER=1
export HF_ENDPOINT=https://hf-mirror.com

下载模型(下载NousResearch/Llama-2-13b-chat-hf,放在当前目录文件夹Llama-2-13b-chat-hf下)

shell 复制代码
huggingface-cli download --resume-download NousResearch/Llama-2-13b-chat-hf --local-dir Llama-2-13b-chat-hf --local-dir-use-symlinks False

携带参数下载

shell 复制代码
huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf --local-dir-use-symlinks False
相关推荐
Jamence7 分钟前
多模态大语言模型arxiv论文略读(一)
人工智能·深度学习·语言模型
KangkangLoveNLP10 分钟前
手动实现一个迷你Llama:使用SentencePiece实现自己的tokenizer
人工智能·深度学习·学习·算法·transformer·llama
jndingxin43 分钟前
OpenCV 图形API(14)用于执行矩阵(或图像)与一个标量值的逐元素乘法操作函数mulC()
人工智能·opencv
晓13131 小时前
第七章 Python基础进阶-异常、模块与包(其五)
人工智能·python
Swift社区1 小时前
AI+自动化测试:如何让测试编写效率提升10倍?
人工智能
weixin_442424032 小时前
Opencv计算机视觉编程攻略-第九节 描述和匹配兴趣点
人工智能·opencv·计算机视觉
thinkMoreAndDoMore2 小时前
深度学习处理文本(5)
人工智能·python·深度学习
AI_Echoes2 小时前
检索增强生成(RAG) 优化策略篇
人工智能
congregalis2 小时前
跳出框架:一步步实现简易Deep Search Agent
人工智能·程序员·源码
weixin_750335522 小时前
李沐 X 动手学深度学习--第九章 现代循环神经网络
人工智能·rnn·深度学习