【人工智能】【Python】离线环境下huggingface预训练权重导入流程

说明:在离线环境下,使用timm或者其他包通过huggingface下载预训练权重会报类似如下的错误:

复制代码
File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/_factory.py", line 126, in create_model model = create_fn( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/swin_transformer.py", line 988, in swin_tiny_patch4_window7_224 return _create_swin_transformer( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/swin_transformer.py", line 888, in _create_swin_transformer model = build_model_with_cfg( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/_builder.py", line 436, in build_model_with_cfg load_pretrained( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/_builder.py", line 213, in load_pretrained state_dict = load_state_dict_from_hf(pretrained_loc, weights_only=True, cache_dir=cache_dir) File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/timm/models/_hub.py", line 225, in load_state_dict_from_hf cached_file = hf_hub_download( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/huggingface_hub/utils/_validators.py", line 114, in _inner_fn return fn(*args, **kwargs) File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/huggingface_hub/file_download.py", line 961, in hf_hub_download return _hf_hub_download_to_cache_dir( File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/huggingface_hub/file_download.py", line 1068, in _hf_hub_download_to_cache_dir _raise_on_head_call_error(head_call_error, force_download, local_files_only) File "/myvar/docker/home/cqai/miniconda3/envs/jz-shiftingnet/lib/python3.9/site-packages/huggingface_hub/file_download.py", line 1599, in _raise_on_head_call_error raise LocalEntryNotFoundError( huggingface_hub.errors.LocalEntryNotFoundError: An error happened while trying to locate the file on the Hub and we cannot find the requested files in the local cache. Please check your connection and try again or make sure your Internet connection is on.

这时我们可以在联网的电脑上下载好后复制过去。

查看预训练权重文件夹位置,运行以下命令:

复制代码
python -c "from huggingface_hub import hf_hub_download; import os; print(os.path.expanduser('~/.cache/huggingface/hub'))"

我这边是从Windows11端复制到Linux服务器上,其他情况操作也是一样的。

全部复制过去即可,或者挑选指定的预训练权重,完成后重新运行训练脚本,可见成功开始训练:

相关推荐
冬奇Lab3 小时前
一天一个开源项目(第249篇):Hallmark —— 一个拒绝“AI 味”的设计 Skill,用 48 套材质主题和浏览器 Linter 约束编程助手
人工智能·开源·资讯
GlobalInfo3 小时前
全球包装检测用3D轮廓传感器市场调研:2026年规模预计达1.87亿美元,食品医药与电商物流需求推动增长
大数据·人工智能·3d
paopaokaka_luck3 小时前
流浪动物救助与收养系统(DeepSeek AI对话、 ECharts多维分析、救助流程衔接、领养与回访衔接、 捐赠确认与公示、志愿者协作)
java·前端·javascript·人工智能·mysql·echarts·推荐算法
AI视频工具指南3 小时前
怎么用AI写爱情短剧?
人工智能
程序 代码狂人3 小时前
切片表与分区表的区别(数据开发面试版)
java·大数据·开发语言·数据仓库·算法
Jsundoku3 小时前
第四章 深度学习 -- 训练技巧
人工智能·深度学习
HDU-Dade4 小时前
【校招笔试真题】简要介绍 Self-Attention 的前沿算法
人工智能·算法
2501_944521594 小时前
Immer 跨端三方库仓颉适配全流程
python·eclipse·django
信誓旦旦的程序猿4 小时前
【Python量化实战宝典 #26】止损与回撤控制手册:移动止损、最大回撤(Python 可跑)
python·1024程序员节·股票数据api·股票数据api接口·股票api数据接口·股票量化数据api·股票量化数据接口
2501_944521594 小时前
Deepmerge 跨端三方库仓颉适配全流程
java·python·eclipse·github