huggingface/bert/transformer的模型默认下载路径以及自定义路径

当使用 BertTokenizer.from_pretrained('bert-base-uncased') 加载预训练的 BERT 模型时,Hugging Face 的 transformers 库会从 Hugging Face Model Hub 下载所需的模型文件和分词器文件(如果它们不在本地缓存中)。

默认情况下,这些文件会被下载到本地的缓存目录中。缓存目录具体位置因您的操作系统和环境不同,但通常是以下路径之一:

默认缓存目录

  1. Linux / Unix / macOS:

    • 默认路径:~/.cache/huggingface/transformers
    • 其中,~ 代表您的用户主目录。
  2. Windows:

    • 默认路径:C:\Users\<YourUserName>\.cache\huggingface\transformers

自定义缓存路径

如果由于某些原因您需要更改默认的缓存路径,可以通过设置环境变量 TRANSFORMERS_CACHE 来指定新的路径。例如,在命令行中设置:

bash 复制代码
export TRANSFORMERS_CACHE=/your/custom/path

或者在 Python 代码中动态设置:

python 复制代码
import os
os.environ['TRANSFORMERS_CACHE'] = '/your/custom/path'

检查文件的具体位置

我们可以通过简单的脚本检查缓存路径和下载的文件:

python 复制代码
from transformers import BertTokenizer

# 检查默认的缓存路径
import os
cache_path = os.path.join(os.path.expanduser("~"), ".cache", "huggingface", "transformers")
print(f"Default cache path: {cache_path}")

# 加载分词器,触发下载(如果尚未下载)
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 列出缓存目录中的文件
for root, dirs, files in os.walk(cache_path):
    for file in files:
        print(os.path.join(root, file))

通过该脚本,可以确认默认的缓存路径,并列出缓存目录中的文件,确保模型和分词器成功下载。

相关推荐
土豆12502 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
GoldenSpider.AI4 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我4 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风4 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT4 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人4 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
羲云网络5 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan5 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷5 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构