手写一个摸鱼神器:使用python手写一个看小说的脚本,在ide中输出小说内容,同事直呼“还得是你”

文章目录

一、准备python环境

windows从0搭建python3开发环境与开发工具

Python爬虫基础(一):urllib库的使用详解
Python爬虫基础(二):使用xpath与jsonpath解析爬取的数据

二、分析小说网的章节目录

最近迷上了《史上最全炼气期》,我们以这一部小说为例:

小说章节列表:http://www.yetianlian.cc/yt4017/

我们可以爬取关键信息:章节名和章节的url,遍历章节名,通过章节的url即可获取每一章的内容!

三、分析小说网的章节内容

每一章的内容,也可以很轻松的得到。

接下来就是编码了。

四、编写python脚本

py 复制代码
import urllib.request
from lxml import etree


def create_request(url):
    '''
        构造请求request
    '''
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
    }
    request = urllib.request.Request(url = url, headers = headers)
    return request

def get_content(request):
    '''
        得到响应内容
    '''
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content


if __name__ == '__main__':
    # 获取所有章节
    base_url = 'http://www.yetianlian.cc/yt4017/'
    request = create_request(base_url) 
    content = get_content(request)
    base_tree = etree.HTML(content)
    # 章节名
    name_list = base_tree.xpath('//div[@class="listmain"]/dl/dd/a/text()')
    # 章节地址
    url_list = base_tree.xpath('//div[@class="listmain"]/dl/dd/a/@href')

    # 定位到从哪一章开始读
    key = input('请输入要阅读的章节:')
    begin = 0
    for i in range(0, len(name_list)-1):
        if(key in name_list[i]):
            begin = i


    for i in range(begin, len(name_list)-1):
        input('章节名---------------------->' + name_list[i])
        # 获取具体哪一章的内容
        url = 'http://www.yetianlian.cc' + url_list[i]
        request = create_request(url) 
        content = get_content(request)
        tree = etree.HTML(content)
        # 获取小说的内容
        result = tree.xpath('//div[@id="content"]/text()')
        # 遍历内容
        for res in result:
            input(res)
    print('-------------->end')

五、验证一下吧

我们随便使用一个ide,在下面打开命令行,执行命令,执行脚本:

bash 复制代码
python story.py

然后输入要阅读的章节,不断的按回车键,就可以一直刷出内容了!是不是摸鱼神器~

相关推荐
2301_7930868719 分钟前
JVM 01 运行区域
java·开发语言
愤怒的小鸟~~~20 分钟前
c语言创建的一个队列结构(含有这个头指针和这个尾指针的结构具有一定的参考价值)
c语言·开发语言·算法
叫我:松哥1 小时前
python案例:基于python 神经网络cnn和LDA主题分析的旅游景点满意度分析
人工智能·python·神经网络·数据挖掘·数据分析·cnn·课程设计
2202_756749692 小时前
01 基于sklearn的机械学习-机械学习的分类、sklearn的安装、sklearn数据集及数据集的划分、特征工程(特征提取与无量纲化、特征降维)
人工智能·python·机器学习·分类·sklearn
鹿野素材屋3 小时前
C#中对于List的多种排序方式
开发语言·c#
whxnchy3 小时前
C++刷题 - 7.27
开发语言·c++
王者鳜錸3 小时前
PYTHON从入门到实践-18Django从零开始构建Web应用
前端·python·sqlite
冗量3 小时前
PPT自动化 python-pptx - 8: 文本(text)
python·自动化·powerpoint
白日梦想家-K3 小时前
题单【模拟与高精度】
开发语言·c++·算法
超级晒盐人4 小时前
用落霞归雁的思维框架推导少林寺用什么数据库?
java·python·系统架构·学习方法·教育电商