利用Git和wget批量下载网页数据

一、Git的下载(参考文章

二. wget下载(网上很多链接)

三、git和wget结合使用

1.先建立一个文本,将代码写入文本(代码如下),将txt后缀改为sh(download_ssebop.sh)。将wget和.sh文件放在一个文件中(F:\PhD\Mult_year_ET\Ssebop)。然后在Ssebop中右击,点击open Git bash here.然后输入:./download_ssebop.sh。点击回车即可。我需要下载的数据网页链接为:https://edcintl.cr.usgs.gov/downloads/sciweb1/shared/fews/web/global/monthly/etav5/downloads/

bash 复制代码
#!/bin/bash

# 设置基本参数
base_url="https://edcintl.cr.usgs.gov/downloads/sciweb1/shared/fews/web/global/monthly/etav5/downloads/"
start_year=2003
end_year=2021
download_dir="./down"

# 创建下载目录(如果不存在)
mkdir -p "$download_dir"

# 遍历每一年和月,构建URL并调用wget进行下载到指定目录
for year in $(seq $start_year $end_year); do
    for month in $(seq -w 1 12); do # 使用-w选项确保月份是两位数
        filename="m${year}${month}.zip"
        url="${base_url}${filename}"
        echo "Downloading ${filename} from ${url}"

        # 使用wget下载文件到指定目录
        if F:/PhD/Mult_year_ET/Ssebop/wget --quiet --show-progress --progress=bar:force -P "$download_dir" "$url"; then
            echo "Successfully downloaded ${filename} into ${download_dir}."
        else
            echo "Failed to download ${filename}."
        fi
    done
done

以上就可以对网页数据进行批量下载!

长路漫漫...

唯有坚持...

相关推荐
zskj_zhyl40 分钟前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网
随便取个六字1 小时前
GIT操作 学习
git·学习
哲科软件1 小时前
从“电话催维修“到“手机看进度“——售后服务系统开发如何重构客户体验
大数据·智能手机·重构
zzywxc7871 小时前
AI 正在深度重构软件开发的底层逻辑和全生命周期,从技术演进、流程重构和未来趋势三个维度进行系统性分析
java·大数据·开发语言·人工智能·spring
专注API从业者1 小时前
构建淘宝评论监控系统:API 接口开发与实时数据采集教程
大数据·前端·数据库·oracle
一瓣橙子3 小时前
缺少关键的 MapReduce 框架文件
大数据·mapreduce
永洪科技10 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
weixin_3077791310 小时前
Hive集群之间迁移的Linux Shell脚本
大数据·linux·hive·bash·迁移学习
大只鹅10 小时前
解决 Spring Boot 对 Elasticsearch 字段没有小驼峰映射的问题
spring boot·后端·elasticsearch
星源~11 小时前
tree 命令集成到 Git Bash:可视化目录结构的指南
git·单片机·物联网·嵌入式·项目开发