【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
ι:15 分钟前
NUC12 Pro 安装 Ubuntu 24.04 LTS 详细教程
linux·windows·ubuntu·nuc
Acrellea1 小时前
告别粗放式能耗管理!安科瑞EIOT平台助力产业园区智慧低碳运营
运维·安全·能源
代码村新手1 小时前
Linux-进程概念
linux
华允物联-HUAIOT1 小时前
串口路由器是什么?带串口的工业联网设备科普
服务器
Databuff1 小时前
五款主流 SSH 免费工具介绍
运维·ssh·运维开发
ShineWinsu2 小时前
对于Git:基础操作的超详细保姆级解析
linux·c++·git·面试·备份·管理·版本控制器
菜鸟学编程o2 小时前
Linux常见指令
linux·运维·服务器
pt10433 小时前
AIOps机器学习——当警报阈值被调高之后
运维·人工智能·自动化
linan1013 小时前
android调用C++通用方式
linux·架构·智能硬件
迪康coolmu3 小时前
企业文件外发管控落地实践 —— 基于迪康端点安全一体化管理系统
运维·网络·经验分享·安全