【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
宋明河3 分钟前
五种 IO 模型与 select、poll、epoll 对比
linux
玄芯散人13 分钟前
【金丹·81】性能分析:你的程序慢在哪
linux·性能优化·perf
天意__18 分钟前
Linux部署Qwen轻量模型
linux·服务器·qwen
对空六课31 分钟前
无头浏览器访问对跳出率的过滤规则
服务器·前端·算法·数据分析
木卫二号Coding41 分钟前
第八十六篇-Strata 部署指南(Ubuntu 22.04 + Tesla V100【单卡】)
linux·运维·人工智能·ubuntu
11路没有终点42 分钟前
sed 命令详解:文本编辑流处理实战
linux
linweidong1 小时前
Redis 集群故障排查与修复实战:从 Connection refused 到内存打满的七个现场
运维·数据库·redis·缓存·redis集群·运维面经·实施面经
开开心心就好1 小时前
一元二次方程求解工具,答案带详细步骤
java·服务器·开发语言·算法·pdf·ocr·perl
酒神dnspup1 小时前
IPv6 网站访问异常怎么查?DNSPup 双栈检测、DNS 与端口排障指南
运维·云计算·域名·dns·dnspup
Data analyse4561 小时前
数据埋点设计的事件命名规则校验
服务器·前端·数据分析