【Shell】模拟爬虫下载天龙八部小说

Shell脚本:

bash 复制代码
#curl https://tianlong.5000yan.com/ -o tianlong.html
grep "href=" tianlong.html | grep html | awk -F"\"" '{ print $6 }' >> urls.txt
grep "href=" tianlong.html | grep html | awk -F">" '{ print $3 }' | awk -F"<" '{ print $1 }' >>titles.txt

exec 3<urls.txt
exec 4<titles.txt

while read -u 3 url && read -u 4 title
do
	echo "$title : $url"
	curl "$url" -o "${title}.html"
done

exec 3<&-
exec 4<&-

下载后的文件:

下载后的效果:

相关推荐
江华森5 分钟前
从零开始:智能运维概念与Linux环境准备完全指南
linux·运维
布莱克60530 分钟前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包
努力写代码的熊大1 小时前
Linux 个人复盘博客 · 第六篇 Linux 进程间五种通信:匿名管道、命名管道、共享内存、消息队列与信号量
linux·经验分享·笔记
橙橙子2301 小时前
Linux----libevent
linux·运维·服务器
不积跬步无以至千里mmbb262 小时前
Rust内核开发核心入口解析
linux·rust
殷紫川2 小时前
写穿硬盘的秘密:LSM-Tree 如何把随机写变成顺序写的艺术
数据库
无足鸟ICT3 小时前
【RHCA+】numactl命令(管理numa)
linux·运维·服务器
草莓熊Lotso3 小时前
【C++ 基于微服务的即时通讯系统】用户服务之Redis数据层落地:会话、登录状态与验证码全封装
数据库·c++·redis·微服务·语音识别
Flynn Liang4 小时前
AI Agent 分层记忆体系实战:用 Redis 五类结构构建可淘汰、可追溯的长短期记忆
数据库·人工智能·redis
飞奔的瓜牛4 小时前
CentOS 7 系统优化实战指南:从内核参数到服务精简
linux·运维·centos