【Shell】模拟爬虫下载天龙八部小说

Shell脚本:

bash 复制代码
#curl https://tianlong.5000yan.com/ -o tianlong.html
grep "href=" tianlong.html | grep html | awk -F"\"" '{ print $6 }' >> urls.txt
grep "href=" tianlong.html | grep html | awk -F">" '{ print $3 }' | awk -F"<" '{ print $1 }' >>titles.txt

exec 3<urls.txt
exec 4<titles.txt

while read -u 3 url && read -u 4 title
do
	echo "$title : $url"
	curl "$url" -o "${title}.html"
done

exec 3<&-
exec 4<&-

下载后的文件:

下载后的效果:

相关推荐
无奈笑天下13 小时前
银河麒麟桌面上USB打印机无法打印问题标准处理流程
linux·运维·网络协议
codeejun13 小时前
每日一Go·MySQL-17、分页优化方案
数据库·mysql
CoderYanger13 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第四弹):图书管理系统(用户登录+添加图书)
java·数据库·spring boot·mysql·面试·java-ee·mybatis
Decay__13 小时前
附 - 02・SQLServer 分库分表与中间件 —— 原生分区表、横向分库实践与联邦查询
运维·数据库·sql·mysql·架构
牧瀬クリスだ13 小时前
从零手写博客系统:分层架构与统一响应(一)
java·数据库·架构·mybatis·springboot·安全架构
the局外人13 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
15Moonlight13 小时前
Linux 网络(11):IO 多路转接(select /poll/epoll)
linux·网络
得物技术14 小时前
从研发经验到团队知识:Akashic知识工程实践|得物技术
数据库·程序员·架构
ClouGence14 小时前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
峥嵘life15 小时前
Android16 热点「网络共享」开关的设计与实现
服务器·网络·microsoft