python项目练习-1

获取无忧书城的小说内容!

python 复制代码
import requests  # 导入请求包
from lxml import etree  # 导入处理xml数据包

url = 'https://www.51shucheng.net/wangluo/douluodalu/21750.html'
book_num = 1  # 文章页数
download_urls = []  # 定义一个空列表,表示我们下载过小说的url!

while True:
    # UA头
    headers = {
        'User-Agent=': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'}

    resp = requests.get(url, headers=headers)  # 使用get方式请求数据!

    resp.encoding = 'utf-8'  # 将请求的数据编码为 utf-8的格式

    e = etree.HTML(resp.text)  # 使用etree模块处理数据,并赋值给e对象!
    data = ''.join(e.xpath('string(//div[@class="neirong"]/p)'))  # 使用xpath插件获取我需要的标签内容!
    title = e.xpath('//h1/text()')[0]  # 获取文章的标题

    if url in download_urls:
        print(f"跳过重复下载的章节: {title}")
    else:
        filename = f'output/斗罗大陆-第{book_num}章.txt'
        with open(filename, mode='w', encoding='utf-8') as file:
            file.write(title + "\n" + data)
        book_num += 1
        download_urls.append(url)  # 将已经下载章节的url添加到列表中!

    next_url = e.xpath('//div[@class="next"]/a/@href')[0]  # 使用xpath插件获取下一章节url在html标签内的位置!
    if not next_url:
        break
    url = next_url

不会用xpath的话,看下边!

比如我要获取每章节的标题在xml数据中的位置,请看如下图~

相关推荐
qq_158895411112 小时前
Suno-API 是什么?官方 V6 模型与 Python / TypeScript 接入指南
python·ai音乐·suno api
学无止境小袁同学13 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴13 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
LK_0714 小时前
【力扣】142. 环形链表 II |Python
python·leetcode·链表
wuyk55514 小时前
Python办公自动化-第02讲-Excel文件认知与四大库选型
开发语言·python·excel
用户548178459095015 小时前
Java 与 Python 在大模型与智能体领域的选型
java·python
yiangL_15 小时前
1、Python 输入输出实验|print 与 input 人机交互实践
开发语言·python·人机交互
高洁0116 小时前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
数字融合16 小时前
透明化视频动态三维重建空间数据零核心技术
人工智能·python·virtualenv