Python爬虫下载小说

Tip

  • 这是一个非常简单的小说网站,读者可以拿来练习爬虫,练习xpath,文章内不让带网址,私信我获取网址。代码里有详细注释。

代码

python 复制代码
import requests as r
from lxml import etree
import re

## 根网址
base_url = "xxx"

## 小说id,即小说目录地址后的那一串数字
content_id = "xxx"

## 下载路径及文件名
myFile= "./小说名.txt"

## 获取html
items = r.get(base_url + "/" + content_id).text
html_body = etree.HTML(items).xpath("/html/body")


## 获取小说目录
## 这里采用了xpath的方式获取到类为listmain的div,并获取到其内部的dl,然后获取第二个dt之后的所有dd标签,获取每个dd标签下的a标签的href即为小说每一章的地址。
href = html_main.xpath("//div[@class='listmain']/dl/dt[2]/following-sibling::dd//a/@href")

## 打开文件并追加写入每一章的标题和内容,记得在最后处理一下\n\t和一些其它编码符。(可以适当添加延迟或者参考笔者之前的代理ip博客使用代理ip,否则可能会出现访问超时)
with open(myFile,"a", encoding="utf-8") as f:
    for item in href:
        res_content = ""
		# 拼接url
        url = base_url+item
        response = r.get(url).text
        res_html = etree.HTML(response)
        title = res_html.xpath("//div[@class='content']/h1/text()")[0]
        print("正在下载:"+title)
        res_content+=title
        res_content+='\n'
        contents = res_html.xpath("//div[@id='content']/text()")
        for content in contents:
            trans_content = re.sub(r'\xa0', '', content)
            res_content += content.replace("\xa0","").replace('\r','\t')
            res_content+='\n'
        f.write(res_content)
    print("下载完成")

其它爬虫文章

记一次用Python爬取代理IP并使用(尝试用代理IP制造直播房间访问量)
记一次用Python统计全国女性Size
Python爬虫------爬取阳光高考专业数据并对所有专业进行数据分析

相关推荐
高洁012 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit2 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
yz_aiks4 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
2601_967980116 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao6 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin05066 小时前
【OLLAMA】调用SKILL的通用ReAct
python
郝学胜-神的一滴7 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Norna8 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk5558 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel
wuyk5558 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch