tensorflow-dataset 内网下载 指定目录

内网下载报错

解决办法是设置环境变量,指向你的代理服务器TFDS_HTTP_PROXY=http://xxx、TFDS_HTTPS_PROXY=http://xxx。

留意到,赋值的是你的代理服务器,且最好协议都使用http(即使TFDS_HTTPS_PROXY也要使用http协议连服务器)。如果不这么做,可能会遇到ProxyError

指定目录

如果你的数据集创建是通过tfds.builder创建的,可以使用以下参数,指定数据集下载到指定目录:

py 复制代码
dataset_builder = tfds.builder(config.dataset, data_dir='/home/xxx/dataset/tensorflow-datasets')
dataset_builder.download_and_prepare(download_dir='/home/xxx/dataset/tensorflow-datasets/downloads')
相关推荐
BK贝壳42 分钟前
亿级用户签到位图选型复盘:用 bool-hybrid-array 扛冷启动打卡,也把它和 Roaring/Redis 的边界测清楚了
数据结构·python·性能优化·numpy
2601_966949652 小时前
如何根据研究的起止时间截取分钟级行情?Python 实战与 QuantDash 数据处理指南
开发语言·python·pandas·量化交易·1024程序员节·股票数据·quantdash
张彦峰ZYF4 小时前
越过边界之前:Reward Seeker 实验如何改写智能体安全的时间逻辑
人工智能·ai agent·anthropic·智能体安全·reward seeker·“控制评价过程”泛化跨领域策略·envbom
拓恒技术4 小时前
无人机巡检AI算法的工程化落地:从需求到交付的5个核心环节
人工智能·算法·无人机
罗西的思考6 小时前
AI 时代的 “房谋杜断”:如何培养能力、品味与判断力
人工智能·算法·机器学习
在世修行7 小时前
智学文枢:页面切换与跨页数据预填
python·桌面应用·signal·1024程序员节·pyside·跨页跳转·状态预填
字节跳动视频云技术团队7 小时前
720P 直升 8K,解密 2026 抖音美好奇妙夜巨幕超分黑科技
人工智能·音视频开发
2601_962885727 小时前
如何用 Python 把 K 线重采样成任意周期?
开发语言·python
打工仔折腾 AI7 小时前
在 Ubuntu ARM64 部署 Q1 V3.0 MuJoCo 模型:加载、单步推理与执行器响应解析
linux·运维·人工智能·python·深度学习·ubuntu·性能优化
逐米时代7 小时前
从试点验证到协同深化:制造业AI转型三年路线图设计方法
人工智能