【LINUX】shell中模拟爬虫

url_home="http://localhost:8080"

curl ${url_home} -o 1.html

cat 1.html | grep 'href="' | awk -F"\"" '{ print $2 }' >urls.txt

cat 1.html | grep 'href="' | awk -F"\"" '{ print 3 }' \| awk -F"\<" '{ print 1 }' | sed "s:>::g"|sed "s: :_:g" > titles.txt

打开文件1

exec 3< urls.txt

打开文件2

exec 4< titles.txt

读取文件1和文件2的内容

while read -u 3 url && read -u 4 title

do

echo "url: $url"

echo "title: $title"

curl "{url_home}/url" -o "${title}.html"

done

关闭文件

exec 3<&-

exec 4<&-

相关推荐
Meta Luo1 小时前
页面改版后自动化用例大量失败,应该怎么维护?
运维·功能测试·测试工具·自动化
爱和冰阔落1 小时前
【Linux】线程安全进阶:单例模式、可重入函数与死锁排查
linux·运维·安全·单例模式
dk_tjy1 小时前
迪康网络运维故障自愈的自动化闭环技术路径分析
运维·网络·自动化
先知后行。2 小时前
pimpl
linux
吉普赛的歌2 小时前
如何设置服务器固定时间点自动重启一次
运维·服务器
Carol06302 小时前
上肢及肩肘关节
java·服务器·数据库
帷幕落秋2 小时前
SSH远程管理服务
运维·ssh
一世繁华行2 小时前
CAPL浏览器(翻译自官方文档)
运维·服务器·数据库
万联WANFLOW2 小时前
让分散的设备像在同一张局域网里:企业组网技术解析
运维·网络·网络安全·智能路由器
风翼靓崽2 小时前
ubuntu22.04 rsyslog分离ssh单独日志文件
运维·ssh