从零开始有图:pycharm实现某小说网站资源的获取

运行环境

PyCharm 2023.2.1

python3.11


详细步骤

1、安装requests,parsel和bs4库

点击终端

输入

pip install requests

pip install parsel

pip install bs4

2、使用pycharm编写python代码,确保在pycharm中可以正常运行代码

不同网站获取方法有一定差距,以笔趣阁网站之一为例,网址为

https://www.biqugen.net

搜索需要获取的书籍,进入如下界面,网址栏显示书籍编号(例如诛仙的书籍编号为1416)

点击进入目录第一章,进入如下界面,网址栏显示书籍起始章节的网页编号(例如序章的网页编号为1467648)

点击进入目录最后一章,进入如下界面,网址栏显示书籍结束章节的网页编号(例如序章的网页编号为1467950)

示例代码,可以通过在pycharm中运行该代码对该网站的内容进行获取

import requests
from bs4 import BeautifulSoup
from parsel import Selector

def get_novel_title(url):
    try:
        # 发送请求
        response = requests.get(url)

        # 检查请求是否成功
        response.raise_for_status()

        # 使用parsel提取小说名称
        title_selector = Selector(response.text)
        title = title_selector.css('h1::text').get()

        return title

    except requests.exceptions.RequestException as e:
        print(f"Error: {e}")
        # 如果请求失败,返回None
        return None

def get_chapter_title_and_text(url):
    try:
        # 发送请求
        response = requests.get(url)

        # 检查请求是否成功
        response.raise_for_status()

        # 使用BeautifulSoup解析HTML
        soup = BeautifulSoup(response.text, 'html.parser')

        # 提取章节标题
        title = soup.title.string

        # 提取正文内容
        content = soup.find('div', {'id': 'content'})

        if content:
            # 处理文本中的<br>标签
            text_with_linebreaks = ''
            for element in content.stripped_strings:
                text_with_linebreaks += element + '\n'

            return title, text_with_linebreaks

        return None, None

    except requests.exceptions.RequestException as e:
        print(f"Error: {e}")
        # 如果请求失败,返回None
        return None, None

# 获取用户输入,添加循环以允许重新输入
while True:
    book_id = input("请输入需要获取的书籍编号:")
    book_url = f'https://www.biqugen.net/book/{book_id}/'
    book_title = get_novel_title(book_url)

    if book_title:
        print(f"成功获取书籍信息:{book_title}")
        break
    else:
        print(f"未能获取书籍信息,请重新输入!")

while True:
    try:
        start_chapter = int(input("请输入起始章节的网页编号:"))
        end_chapter = int(input("请输入结束章节的网页编号:"))
        output_file_path = input("请输入输出文件的位置:\n(例如C:\\Users\\Abit\\Desktop\\biqugen.txt): ")
        print("章节获取情况:")
        # 打开文件以写入模式
        with open(output_file_path, 'w', encoding='utf-8') as output_file:
            # 生成URL并遍历爬取每个网页的内容
            for chapter_number in range(start_chapter, end_chapter + 1):
                url = f'https://www.biqugen.net/book/{book_id}/{chapter_number}.html'
                title, result = get_chapter_title_and_text(url)

                # 将成功的章节名称和内容写入文件
                if result:
                    output_file.write(f"{title}:\n{result}\n{'='*50}\n")
                    print(f"{chapter_number}   {title}")
                else:
                    print(f"{chapter_number}   未找到相关内容")
        break

    except ValueError:
        print("输入的章节编号应为整数,请重新输入!")
    except Exception as e:
        print(f"发生错误: {e}")

运行结果如图

注意事项

如果出现以下问题

pip : 无法将"pip"项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写,如果包括路径,请确保路径正确,然后再试一次。

注意环境变量的配置,需要将你的python的安装目录下的Script文件夹的路径添加到Path中,比如C:\Program Files\Python311\Scripts

相关推荐
斯凯利.瑞恩6 分钟前
Python决策树、随机森林、朴素贝叶斯、KNN(K-最近邻居)分类分析银行拉新活动挖掘潜在贷款客户附数据代码
python·决策树·随机森林
yannan2019031327 分钟前
【算法】(Python)动态规划
python·算法·动态规划
蒙娜丽宁37 分钟前
《Python OpenCV从菜鸟到高手》——零基础进阶,开启图像处理与计算机视觉的大门!
python·opencv·计算机视觉
光芒再现dev38 分钟前
已解决,部署GPTSoVITS报错‘AsyncRequest‘ object has no attribute ‘_json_response_data‘
运维·python·gpt·语言模型·自然语言处理
好喜欢吃红柚子1 小时前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python1 小时前
机器学习是什么?AIGC又是什么?机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯1 小时前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
千天夜1 小时前
使用UDP协议传输视频流!(分片、缓存)
python·网络协议·udp·视频流
测试界的酸菜鱼1 小时前
Python 大数据展示屏实例
大数据·开发语言·python
羊小猪~~1 小时前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习