Python爬虫-爬取三国演义文本数据-bs4

bs4进行数据解析

-数据解析的原理:

  • 1.标签定位

-2.提取标签、标签属性中存储的数据值

  • bs4数据解析的原理:

  • 1.实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中

-2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

  • 环境安装:

  • pip install bs4

  • pip install lxml

  • 如何实例化BeautifulSoup对象:

  • from bs4 import BeautifulSoup

-对象的案例化:

  • 1.将本地的html文档中的数据加载到该对象中

fp = open('./test.html','r', encoding='utf-8')

soup = BeautifulSoup(fp, 'lxml')

  • 2.将互联网上获取的页面源码加载到该对象中

page_text = response. text

soup = BeatifulSoup(page_text, 'lxml')

  • 提供的用于数据解析的方法和属性:

爬取三国演义文本数据

先使用通用爬虫爬取页面所有数据,再解析标题内容

复制代码
import requests  # 导入requests库,用于发起网络请求
from bs4 import BeautifulSoup  # 导入BeautifulSoup库,用于解析网页内容

# 设置要爬取的网站的URL和请求头信息
url = 'https://www.shicimingju.com/book/sanguoyanyi.html'  # 这是我们要爬取的网站地址
headers = {'User-Agent': 'Mozilla/5.0'}  # 这是告诉网站我们是用什么浏览器来访问的,这里用的是Mozilla/5.0,类似于Firefox

# 使用requests发起网络请求,获取网页内容
page_text = requests.get(url=url, headers=headers).content  # 发起请求并获取返回的网页内容

# 创建BeautifulSoup对象,用于解析网页内容
soup = BeautifulSoup(page_text, 'html.parser')  # 使用html.parser解析网页内容

# 使用BeautifulSoup选择器找到包含章节标题和详情页URL的列表项
li_list = soup.select('.book-mulu > ul > li')  # 找到所有符合这个规则的列表项

# 打开一个文件,准备写入解析到的内容
fp = open('./sanguo.txt', 'w', encoding='utf-8')  # 打开一个文件,准备写入解析到的内容

# 遍历找到的列表项,解析每个章节的标题和详情页URL
for li in li_list:
    title = li.a.string  # 提取每个列表项中a标签内的文本内容,即章节标题
    detail_url = 'http://www.shicimingju.com' + li.a['href']  # 构建每个章节的详情页URL
    
    # 对每个详情页发起网络请求,获取详情页内容
    try:
        detail_page_text = requests.get(url=detail_url, headers=headers).content  # 发起请求并获取返回的详情页内容
        detail_soup = BeautifulSoup(detail_page_text, 'html.parser')  # 使用html.parser解析详情页内容
        div_tag = detail_soup.find('div', class_='chapter_content')  # 找到包含章节内容的div标签
        if div_tag:  # 如果找到章节内容div标签
            content = div_tag.text  # 提取章节内容文本
            fp.write(title + ':' + content + '\n')  # 将章节标题和内容写入文件,每行一个
            print(title, '爬取成功!!!')  # 打印章节标题,表示成功爬取
        else:
            print(title, '内容解析失败!!!')  # 打印章节标题,表示内容解析失败
    except requests.exceptions.RequestException as e:  # 处理可能出现的网络请求异常
        print(f'请求失败: {e}')  # 打印错误信息

# 完成所有章节的解析和写入后,关闭文件
fp.close()  # 关闭文件
相关推荐
2601_9679801131 分钟前
python+appium自动化测试如何控制App的启动和退出
android·自动化测试·python·appium·设备调试
lcj25111 小时前
[C++] C++11
开发语言·c++·笔记
威哥爱编程2 小时前
模拟面试智能体开发实战 12:每篇都能跑不等于接起来能跑,端到端联调收官把十一块拼图合成一个能用的智能体
python·agent·harmonyos
威哥爱编程2 小时前
模拟面试智能体开发实战 11:报告只躺在后端怎么复盘,把总评搬上手机还要适配大小屏
python·agent·harmonyos
2601_967987372 小时前
Python 实现行为驱动开发 (BDD) 自动化测试详解
自动化测试·python·bdd·behave·gherkin
Evand J3 小时前
【MATLAB例程】基于IMM-CKF的AOA+测距融合的二维移动目标跟踪定位
开发语言·matlab·目标跟踪
数字融合3 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
JianZhen✓4 小时前
IM 聊天列表为什么总“消息乱跳“:有序插入、时间轴派生、本地截断、已读回执
开发语言·前端·php
FungLeo4 小时前
FengCMS · PHP+MySQL 升级实录· 代码审计怎么闭环:REVIEW到 CLOSURE 四件套,12 个域90 篇修复文档跟到底
开发语言·mysql·php·代码审计·fengcms
屿华AI4 小时前
AUTOSAR 实战-诊断工具 | DTC/Event/FiM 故障报告自动化:DEM 诊断数据采集与解析
python·测试工具·自动化·汽车