实验笔记之——下载数据到服务器

开发过程中经常需要把数据传到服务器上,太麻烦了,为此本博文记录采用百度云来传输数据

百度云

使用bypy包。

  • 安装:pip install bypy
  • 配置bypy连接百度网盘:
  1. 终端输入bypy info
  2. 将命令行提示的链接复制到浏览器,并复制浏览器中的授权码,粘贴到终端并回车(注意是粘贴到终端)

可以看到百度云盘中出现了我的网盘/我的应用数据/bypy文件夹,该文件夹将是服务器与百度云盘间沟通的桥梁。因此,需要将下载的数据放在bypy文件夹中。

常用的命令如下

复制代码
# 查看帮助
bypy --help

# 查看网盘文件
bypy list

# 下载文件或目录
bypy download [remotepath] [localpath]

# 上传文件或目录
bypy upload [localpath] [remotepath]

接下来要上传或者下载的资料都在此

Google Driver

采用wget的方式下载应该也可~

Google Drive的分享链接格式通常为:

复制代码
https://drive.google.com/file/d/<fileid>/view

其中这个<fileid>就是对应文件在服务器上的唯一标识符。

比如我要下载chair的数据集,它的链接是

复制代码
https://drive.google.com/drive/folders/15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi

那么它的id应该是

复制代码
15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi

而wget下载指令是

复制代码
wget --no-check-certificate "https://drive.google.com/uc?export=download&id=${fileid}" -O ${filename}


wget --load-cookies /tmp/cookies.txt "https://drive.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate 'https://drive.google.com/uc?export=download&id=${fileid}' -O- | sed -rn 's/.confirm=([0-9A-Za-z_]+)./\1\n/p')&id=${fileid}" -O ${filename} && rm -rf /tmp/cookies.txt

下面一条是大文件,对于大文件需要cookie处理。这个数据算小文件,那么应该是

复制代码
wget --no-check-certificate "https://drive.google.com/uc?export=download&id=15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi" -O chair.zip

下载成功了,但是打不开,试试大文件的链接吧~

复制代码
wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&confirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies --no-check-certificate 'https://docs.google.com/uc?export=download&id=15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi' -O- | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')&id=15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi" -O chair.zip&& rm -rf /tmp/cookies.txt

还是下载了加压不了

复制代码
wget --no-check-certificate "https://docs.google.com/uc?export=download&id=15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi" -O chair.zip

改为用gdown

复制代码
pip install gdown


gdown https://drive.google.com/uc?id=文件ID


gdown https://drive.google.com/uc?id=15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi


gdown https://drive.google.com/uc?id=15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi -O 文件名


gdown https://drive.google.com/drive/folders/15dS1fw45jvXOiDBqSWCC49w2x5OSyVTi?usp=drive_link -O chair.zip

但还是不行

找不出原因。。。感觉是分享的文件没有设置好,算了,百度网盘吧。。。

使用wget命令下载Google drive上的文件_ubuntu上wget下载谷歌云盘文件-CSDN博客

通过命令行从 Google Drive下载数据 | Curiousity Hub

相关推荐
love530love2 小时前
【保姆级教程】Windows + Podman 从零部署 Duix-Avatar 数字人项目
人工智能·windows·笔记·python·数字人·podman·duix-avatar
草莓熊Lotso3 小时前
《算法闯关指南:动态规划算法--斐波拉契数列模型》--01.第N个泰波拉契数,02.三步问题
开发语言·c++·经验分享·笔记·其他·算法·动态规划
FFF团团员90910 小时前
树莓派学习笔记3:LED和Button
笔记·学习
碧海潮生_CC11 小时前
【CUDA笔记】04 CUDA 归约, 原子操作,Warp 交换
笔记·cuda
摇滚侠11 小时前
2025最新 SpringCloud 教程,从单体到集群架构,笔记02
笔记·spring cloud·架构
风123456789~12 小时前
【OceanBase专栏】OB背景知识
数据库·笔记·oceanbase
智者知已应修善业13 小时前
【51单片机普通延时奇偶灯切换】2023-4-4
c语言·经验分享·笔记·嵌入式硬件·51单片机
wdfk_prog13 小时前
[Linux]学习笔记系列 -- [block]bio
linux·笔记·学习
卡提西亚17 小时前
C++笔记-34-map/multimap容器
开发语言·c++·笔记
一个平凡而乐于分享的小比特18 小时前
UCOSIII笔记(十三)CPU利用率及栈检测统计与同时等待多个内核对象
笔记·ucosiii