huggingface/bert/transformer的模型默认下载路径以及自定义路径

当使用 BertTokenizer.from_pretrained('bert-base-uncased') 加载预训练的 BERT 模型时,Hugging Face 的 transformers 库会从 Hugging Face Model Hub 下载所需的模型文件和分词器文件(如果它们不在本地缓存中)。

默认情况下,这些文件会被下载到本地的缓存目录中。缓存目录具体位置因您的操作系统和环境不同,但通常是以下路径之一:

默认缓存目录

  1. Linux / Unix / macOS

    • 默认路径:~/.cache/huggingface/transformers
    • 其中,~ 代表您的用户主目录。
  2. Windows

    • 默认路径:C:\Users\<YourUserName>\.cache\huggingface\transformers

自定义缓存路径

如果由于某些原因您需要更改默认的缓存路径,可以通过设置环境变量 TRANSFORMERS_CACHE 来指定新的路径。例如,在命令行中设置:

bash 复制代码
export TRANSFORMERS_CACHE=/your/custom/path

或者在 Python 代码中动态设置:

python 复制代码
import os
os.environ['TRANSFORMERS_CACHE'] = '/your/custom/path'

检查文件的具体位置

我们可以通过简单的脚本检查缓存路径和下载的文件:

python 复制代码
from transformers import BertTokenizer

# 检查默认的缓存路径
import os
cache_path = os.path.join(os.path.expanduser("~"), ".cache", "huggingface", "transformers")
print(f"Default cache path: {cache_path}")

# 加载分词器,触发下载(如果尚未下载)
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 列出缓存目录中的文件
for root, dirs, files in os.walk(cache_path):
    for file in files:
        print(os.path.join(root, file))

通过该脚本,可以确认默认的缓存路径,并列出缓存目录中的文件,确保模型和分词器成功下载。

相关推荐
opentrending2 小时前
Github 热点项目 awesome-mcp-servers MCP 服务器合集,3分钟实现AI模型自由操控万物!
服务器·人工智能·github
lisw053 小时前
DeepSeek原生稀疏注意力(Native Sparse Attention, NSA)算法介绍
人工智能·深度学习·算法
whaosoft-1433 小时前
51c深度学习~合集4
人工智能
逢生博客3 小时前
阿里 FunASR 开源中文语音识别大模型应用示例(准确率比faster-whisper高)
人工智能·python·语音识别·funasr
哲讯智能科技4 小时前
智慧能源新篇章:SAP如何赋能光伏行业数字化转型
大数据·人工智能
云卓SKYDROID4 小时前
无人机DSP处理器工作要点!
人工智能·无人机·科普·云卓科技
gang_unerry4 小时前
量子退火与机器学习(2):少量实验即可找到新材料,黑盒优化➕量子退火
人工智能·机器学习·量子计算·量子退火
訾博ZiBo4 小时前
AI日报 - 2025年4月2日
人工智能
说私域5 小时前
消费品行业创新创业中品类创新与数字化工具的融合:以开源 AI 智能客服、AI 智能名片及 S2B2C 商城小程序为例
人工智能·小程序·开源
说私域5 小时前
开源AI大模型赋能的S2B2C商业生态重构研究——基于智能名片系统的体验认知与KOC背书机制
人工智能·小程序·重构·开源