tensorflow-dataset 内网下载 指定目录

内网下载报错

解决办法是设置环境变量,指向你的代理服务器TFDS_HTTP_PROXY=http://xxx、TFDS_HTTPS_PROXY=http://xxx。

留意到,赋值的是你的代理服务器,且最好协议都使用http(即使TFDS_HTTPS_PROXY也要使用http协议连服务器)。如果不这么做,可能会遇到ProxyError

指定目录

如果你的数据集创建是通过tfds.builder创建的,可以使用以下参数,指定数据集下载到指定目录:

py 复制代码
dataset_builder = tfds.builder(config.dataset, data_dir='/home/xxx/dataset/tensorflow-datasets')
dataset_builder.download_and_prepare(download_dir='/home/xxx/dataset/tensorflow-datasets/downloads')
相关推荐
青少儿编程课堂1 分钟前
蓝桥杯青少组图形化 + 全国青少年信息素养大赛 + 电子学会Scratch考级:校园成语接龙大挑战解析
c++·python·算法·bfs·信息学竞赛
合合技术团队2 分钟前
企业级Agent服务平台选型指南:从需求匹配到场景落地,文档解析工具怎么选?
大数据·人工智能·agent·多模态文本智能技术·企业级agent服务平台
用户0332126663674 分钟前
使用 Python 扁平化 PDF 文档 【附代码示例】
python
Java后端的Ai之路4 分钟前
Java并发编程07-等待通知机制优化循环等待
java·数据库·python
小小张说故事5 分钟前
Python 的 async def 为什么能同时跑几千个任务?拆开协程对象、await 与事件循环那次让出
后端·python
AllData公司负责人8 分钟前
AllData 可定义数据中台完成信创适配|银河麒麟 + 海光X86 CPU / 华为鲲鹏ARM CPU+ OceanBase / 人大金仓国产化环境部署落地
大数据·arm开发·数据库·人工智能·oceanbase·kingbase
Raas10010 分钟前
AI网关如何接入?MAI Gateway部署实操教程
java·开发语言·人工智能·gateway·ai网关·mai gateway·企业级产品
Elastic 中国社区官方博客14 分钟前
AgentHack Shanghai|基于阿里云AI搜索 Elasticsearch x Qoder 构建AI Agent应用
大数据·人工智能·elasticsearch·搜索引擎·阿里云·云计算·全文检索
一只废狗狗狗狗狗狗狗狗狗16 分钟前
生成式对抗网络GAN(Generative Adversarial Network)
人工智能·神经网络·生成对抗网络
ZZHow102426 分钟前
神经网络与深度学习笔记_Day1
人工智能·pytorch·笔记·python·深度学习·神经网络·机器学习