【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
小程序设计4 分钟前
基于某数据管理系统的目标遍历漏洞成因与防御设计技术与实现
运维·网络
33三 三like12 分钟前
Jiangxi
linux·运维·服务器
昇腾知识体系18 分钟前
昇腾 Atlas 800I A5 服务器:机型定位与部署入口
服务器·人工智能·华为·架构·知识图谱
2601_9539880719 分钟前
Ricon组态 - 让数据可视化如此简单
运维·后端·物联网·数学建模·前端框架·c4前端
小马同学-28 分钟前
01 容器技术概述
运维·docker·云计算
海宇大数据30 分钟前
零信任架构实战:基于海宇单人婚姻状态查询构建自动化线上房产交易合规网关
运维·人工智能·架构·自动化
wuminyu36 分钟前
Kafka的写入延迟与磁盘IO抖动原理分析
java·linux·c语言·jvm·c++
bloglin9999937 分钟前
windows中如何像linux的lsof一样查看端口
运维
网硕互联的小客服37 分钟前
服务器如何检查Web端口(如80/443)是否正常监听?
运维·服务器
buhuizhiyuci38 分钟前
线程的互斥
linux·运维·服务器·c++