【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
九硕智慧建筑一体化厂家31 分钟前
大型建筑集群智慧管控升级!IBMS系统实现多系统一体化融合管理
运维·人工智能·笔记·智慧城市
HAHAXX81 小时前
低代码 & 无代码 RPA 项目实施:对接大模型接口的部署与运维要点
运维·低代码·rpa
啦啦啦啦啦zzzz1 小时前
时间轮定时器
linux·服务器·网络·c++·定时器
ITyunwei09871 小时前
从 ITIL 视角量化-第三集:工单系统如何成为 ITSM 治理抓手?架构+量化
运维·网络·企业微信
paopao_djshddhdj1 小时前
钉钉培训系统功能与收费详解:企业数字化培训的优选方案
运维·钉钉
神威难绷泪1 小时前
Linux应用软件编程:目录IO framebuffer
linux
一只旭宝1 小时前
预约系统版本2(pyhton+flask可视化版本)
服务器·数据库·c++·笔记·python·flask
byte轻骑兵1 小时前
【BlueZ 】BLE 与经典蓝牙的差异:BlueZ 中双模式的源码区分设计
linux·bluez·电脑蓝牙·嵌入式蓝牙
肠畔码农1 小时前
Redis 深度内核解析与高性能运维调优指南
运维·数据库·redis
迪康coolmu2 小时前
当大模型遇上终端安全—AI驱动的智能运维实践
运维·人工智能·安全