【人工智能】【Python】离线环境下huggingface预训练权重导入流程

说明:在离线环境下,使用timm或者其他包通过huggingface下载预训练权重会报类似如下的错误:

复制代码
File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/_factory.py", line 126, in create_model model = create_fn( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/swin_transformer.py", line 988, in swin_tiny_patch4_window7_224 return _create_swin_transformer( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/swin_transformer.py", line 888, in _create_swin_transformer model = build_model_with_cfg( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/_builder.py", line 436, in build_model_with_cfg load_pretrained( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/_builder.py", line 213, in load_pretrained state_dict = load_state_dict_from_hf(pretrained_loc, weights_only=True, cache_dir=cache_dir) File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/_hub.py", line 225, in load_state_dict_from_hf cached_file = hf_hub_download( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/huggingface_hub/utils/_validators.py", line 114, in _inner_fn return fn(*args, **kwargs) File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/huggingface_hub/file_download.py", line 961, in hf_hub_download return _hf_hub_download_to_cache_dir( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/huggingface_hub/file_download.py", line 1068, in _hf_hub_download_to_cache_dir _raise_on_head_call_error(head_call_error, force_download, local_files_only) File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/huggingface_hub/file_download.py", line 1599, in _raise_on_head_call_error raise LocalEntryNotFoundError( huggingface_hub.errors.LocalEntryNotFoundError: An error happened while trying to locate the file on the Hub and we cannot find the requested files in the local cache. Please check your connection and try again or make sure your Internet connection is on.

这时我们可以在联网的电脑上下载好后复制过去。

查看预训练权重文件夹位置,运行以下命令:

复制代码
python -c "from huggingface_hub import hf_hub_download; import os; print(os.path.expanduser('~/.cache/huggingface/hub'))"

我这边是从Windows11端复制到Linux服务器上,其他情况操作也是一样的。

全部复制过去即可,或者挑选指定的预训练权重,完成后重新运行训练脚本,可见成功开始训练:

相关推荐
冬奇Lab15 分钟前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
吃我一窝jio25 分钟前
Python与Go线程模型深度对比
java·开发语言·python
eggwyw1 小时前
C++ union 的一种妙用法
开发语言·c++
罗西的思考1 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
zwd20051 小时前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI2 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
RobinDevNotes2 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV2 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
starzy19903 小时前
深入理解Scala隐式函数:自动类型转换
开发语言·后端·scala
Bowen_J3 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple