【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
fengkai45452 分钟前
十一、MySQL 第 4-7 章
运维·数据库·mysql
荣合技术服务4 分钟前
服务器数据恢复服务商——荣合科算技术服务
运维·服务器·数据恢复·荣合科算
Sayai5 分钟前
ClickHouse WITH FILL 实战:监控大屏时间序列补零,附多粒度指标表与物化视图级联设计
大数据·运维·数据仓库·clickhouse·物化视图
九章-悲回风8 分钟前
Linux - Docker及常用镜像部署
linux·运维·docker
xUxIAOrUIII14 分钟前
守护进程(daemon)
linux·运维
2603_9547083114 分钟前
微能网的核心硬件协调控制装置有哪些功能?
大数据·运维·人工智能·架构·能源
Lucas_coding17 分钟前
SSH 常见用法(四):使用 SCP 和 SFTP 远程传输文件
运维·ssh
流浪00121 分钟前
Linux系统篇44——线程(九) 互斥锁的接口与原理,从 xchgb 的原子交换说起
linux·操作系统·线程·互斥锁·互斥锁原理
Fcy64822 分钟前
Linux下 网络层IP协议详解
linux·运维·tcp/ip
zhangx1234_32 分钟前
javaEE 多线程1
java·linux·服务器