利用Git和wget批量下载网页数据

一、Git的下载(参考文章

二. wget下载(网上很多链接)

三、git和wget结合使用

1.先建立一个文本,将代码写入文本(代码如下),将txt后缀改为sh(download_ssebop.sh)。将wget和.sh文件放在一个文件中(F:\PhD\Mult_year_ET\Ssebop)。然后在Ssebop中右击,点击open Git bash here.然后输入:./download_ssebop.sh。点击回车即可。我需要下载的数据网页链接为:https://edcintl.cr.usgs.gov/downloads/sciweb1/shared/fews/web/global/monthly/etav5/downloads/

bash 复制代码
#!/bin/bash

# 设置基本参数
base_url="https://edcintl.cr.usgs.gov/downloads/sciweb1/shared/fews/web/global/monthly/etav5/downloads/"
start_year=2003
end_year=2021
download_dir="./down"

# 创建下载目录(如果不存在)
mkdir -p "$download_dir"

# 遍历每一年和月,构建URL并调用wget进行下载到指定目录
for year in $(seq $start_year $end_year); do
    for month in $(seq -w 1 12); do # 使用-w选项确保月份是两位数
        filename="m${year}${month}.zip"
        url="${base_url}${filename}"
        echo "Downloading ${filename} from ${url}"

        # 使用wget下载文件到指定目录
        if F:/PhD/Mult_year_ET/Ssebop/wget --quiet --show-progress --progress=bar:force -P "$download_dir" "$url"; then
            echo "Successfully downloaded ${filename} into ${download_dir}."
        else
            echo "Failed to download ${filename}."
        fi
    done
done

以上就可以对网页数据进行批量下载!

长路漫漫...

唯有坚持...

相关推荐
时序数据说7 小时前
时序数据库市场前景分析
大数据·数据库·物联网·开源·时序数据库
Cosmoshhhyyy11 小时前
mac环境下安装git并配置密钥等
git·macos
2501_9301040411 小时前
GitCode 疑难问题诊疗:全方位指南
大数据·elasticsearch·gitcode
健康平安的活着11 小时前
es7.17.x es服务yellow状态的排查&查看节点,分片状态数量
大数据·elasticsearch·搜索引擎
念念010711 小时前
基于MATLAB多智能体强化学习的出租车资源配置优化系统设计与实现
大数据·人工智能·matlab
yuwei02111 小时前
git大全解
git
sunxinyu14 小时前
曲面/线 拟合gnuplot
大数据·线性回归·数据处理·数据拟合·二维三维空间数据
专注API从业者14 小时前
基于 Flink 的淘宝实时数据管道设计:商品详情流式处理与异构存储
大数据·前端·数据库·数据挖掘·flink
小林的技术分享16 小时前
版本控制系统-Git 学习 《progit》电子书学习记录 第一章 (仅隔个人学习记录用)
git
淡酒交魂16 小时前
「Flink」业务搭建方法总结
大数据·数据挖掘·数据分析