huggingface/bert/transformer的模型默认下载路径以及自定义路径

当使用 BertTokenizer.from_pretrained('bert-base-uncased') 加载预训练的 BERT 模型时,Hugging Face 的 transformers 库会从 Hugging Face Model Hub 下载所需的模型文件和分词器文件(如果它们不在本地缓存中)。

默认情况下,这些文件会被下载到本地的缓存目录中。缓存目录具体位置因您的操作系统和环境不同,但通常是以下路径之一:

默认缓存目录

  1. Linux / Unix / macOS:

    • 默认路径:~/.cache/huggingface/transformers
    • 其中,~ 代表您的用户主目录。
  2. Windows:

    • 默认路径:C:\Users\<YourUserName>\.cache\huggingface\transformers

自定义缓存路径

如果由于某些原因您需要更改默认的缓存路径,可以通过设置环境变量 TRANSFORMERS_CACHE 来指定新的路径。例如,在命令行中设置:

bash 复制代码
export TRANSFORMERS_CACHE=/your/custom/path

或者在 Python 代码中动态设置:

python 复制代码
import os
os.environ['TRANSFORMERS_CACHE'] = '/your/custom/path'

检查文件的具体位置

我们可以通过简单的脚本检查缓存路径和下载的文件:

python 复制代码
from transformers import BertTokenizer

# 检查默认的缓存路径
import os
cache_path = os.path.join(os.path.expanduser("~"), ".cache", "huggingface", "transformers")
print(f"Default cache path: {cache_path}")

# 加载分词器,触发下载(如果尚未下载)
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 列出缓存目录中的文件
for root, dirs, files in os.walk(cache_path):
    for file in files:
        print(os.path.join(root, file))

通过该脚本,可以确认默认的缓存路径,并列出缓存目录中的文件,确保模型和分词器成功下载。

相关推荐
SwanArc技术笔记1 分钟前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金2 分钟前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络3 分钟前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif
安爹前沿AI11 分钟前
Seedance 有个文档里没写的参数:开了码率涨 3.9 倍,费用一分没多
人工智能
深海鱼在掘金13 分钟前
深入浅出RAG——第20章:端到端实战:企业级知识库问答系统
人工智能
黑十14 分钟前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
樊小肆41 分钟前
agent 不报错才最吓人:自研编码工具半年,我踩了 10 个"看着正常"的运行时坑
前端·人工智能·agent
用户986023965611 小时前
Gemini Tool Retrieval:工具越来越多,Agent 如何按需读取参数说明?
人工智能
用户1917291270831 小时前
Agent 工具面裁剪:动态暴露与渐进披露(附 Python 代码)
人工智能
AI前端工程狮1 小时前
我给 MCP 长任务加进度条,五步只显示了一步
javascript·人工智能·程序员