【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
A-刘晨阳几秒前
低配N1也能搭家庭录像中心:Go2RTC与EasyNVR双容器实战
运维·云计算·cpolar
隔窗听雨眠19 分钟前
GitHub Actions自动化运维实战:从零构建一体化CI/CD流水线
运维·自动化·github
MXsoft61820 分钟前
国产智能运维平台如何选型?(国产智能运维平台哪家强?
运维
_abab25 分钟前
Rust重塑系统编程:从Linux内核到AI推理引擎的2026全景解析
linux·人工智能·rust
初圣魔门首席弟子31 分钟前
TypeScript 类型系统完全指南:从基础到高级工具类型(知识库版)
linux·运维·ubuntu
CQU_JIAKE32 分钟前
7.23[a]
linux·运维·服务器
想学好C++的oMen39 分钟前
socket编程TCP
linux·网络·网络协议·tcp/ip
ShirleyWang0121 小时前
Linux中Vim编辑器快速找到需要改的行
linux·编辑器·vim
weixin_457340211 小时前
ssh 本地链接服务器地址和服务器查看本地地址
运维·服务器·ssh
MXsoft6182 小时前
在大型混合云网络环境中,如何高效实现自动化运维?
运维·网络·自动化