【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
青禾8376 小时前
Linux 操作系统入门指南:从目录结构到常用命令
linux·运维·服务器
zhengqweasd6 小时前
流量没跑满、带宽空闲,业务依然卡顿
运维·服务器·网络
闖647 小时前
入门Linux操作系统|零基础吃透原理、目录、权限、常用命令
linux
bruk_spp7 小时前
linux pinctrl
linux
M哥支付8 小时前
高频交易优选方案:银联快捷支付通道
服务器·网络·其他·微信·金融
Y3815326628 小时前
Docker Compose 服务依赖与健康检查:healthcheck 让容器按正确顺序启动
运维·docker·容器
稳联技术老娜8 小时前
伺服内嵌EtherNet IP方案:嵌入式小板SPI通讯固件Demo程序适配改造
运维·服务器·网络
en.en..9 小时前
Linux系统编程:fcntl 与 ioctl
linux·运维·服务器
自动化监测Learner9 小时前
Navicat Premium 17 中文版安装教程(2026最新版)
java·linux·数据库
荣合技术服务10 小时前
Codex 实战:用 AI 写运维脚本
运维·codex