【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
码农爱学习15 分钟前
ClaudeCode搭配DeepSeek在Windows和Linux中的安装教程
linux·运维·windows
阿昭L18 分钟前
Linux文件IO
linux
我滴老baby20 分钟前
多个内网服务怎么统一入口?部署 Nginx Proxy Manager 配置反向代理与 SSL
运维·nginx·ssl
小此方21 分钟前
Linux加餐(一):藏在Linux中的设计模式(一)策略模式与日志
linux·设计模式·策略模式
FIT2CLOUD飞致云23 分钟前
智能运维如何落地?WorkBuddy+ JumpServer Skills给你答案
运维·开源·1panel·运维面板
邪修king27 分钟前
Re:Linux系统篇(十):从零上手 Git + GitHub(Ubuntu 环境实操完整版|个人代码归档必备)
linux·git·github
wuminyu28 分钟前
JDK21中FFM api的upcall回调机制解析
java·linux·c语言·jvm·c++
蜀道山老天师38 分钟前
Zabbix监控MySQL与Redis应用实践完整指南
linux·运维·redis·mysql·zabbix
fiveym2 小时前
05 - 黄金镜像与全自动还原
运维·服务器·架构
OsDepK2 小时前
在安卓Termux终端中部署openssh
linux·服务器