【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
IpdataCloud27 分钟前
AI生成的Avalon恶意框架怎么防?用IP离线库识别模块化C2通信
运维·人工智能·网络协议·tcp/ip·ip
极客先躯34 分钟前
高级java每日一道面试题-2026年03月30日-实战篇[Docker]-如何监控容器的网络流量?
java·运维·docker·容器·prometheus·高级面试
Waay1 小时前
Linux 三个核心环境变量配置文件、作用域、生效方式完整梳理
linux·运维·学习·云原生·容器
星空语1 小时前
音频001_Android+Linux车载/手机音频全链路分层架构图
android·linux·音视频
Piko6141 小时前
锐捷交换机 DHCP Server部署
运维·网络·笔记
携程DBA1 小时前
数据库软限制相关研究
linux·mysql·性能
huy1n92 小时前
Ubuntu 22.04部署Claude Code并接入DeepSeek-V4模型完整教程
linux·ubuntu·deepseek·claude code
ICECREAM2 小时前
I/O 多路复用完全指南 —— select、poll、epoll
linux
进阶的猪3 小时前
Linux 内核移植过程学习
linux·学习
不会调制解调的猫4 小时前
笔记 | 什么是 rp_filter(反向路径过滤)?
服务器·网络·笔记