【Python爬虫】简单案例介绍2

本文继续接着我的上一篇博客【Python爬虫】简单案例介绍1-CSDN博客

目录

跨页

[3.2 环境准备](#3.2 环境准备)


跨页

当对单个页面的结构有了清晰的认识并成功提取数据后,接下来就需要考虑页面之间的跨页问题。此时我们便迎来了下一个关键任务:如何实现跨页爬取?

因为互联网上的信息往往是分散在多个页面中的,跨页爬取能够让我们获取更全面、更丰富的数据。这就要求我们研究页面之间的链接关系,找到页面跳转的规律。有些网站通过页码参数来实现页面切换,如page=1page=2等;而有些则可能采用更复杂的链接结构,比如根据时间、分类等进行页面划分。我们需要识别这些规律,并运用相应的代码逻辑,模拟用户在页面间的跳转操作,从而实现从一个页面跳转到另一个页面,不断扩大数据的采集范围。只有兼顾单个页面的精准剖析和页面间的有效跨页,才能构建出高效、稳定的 Python 爬虫程序,满足各种数据获取的需求。

(1)在需要爬取的页面右击"检查"打开浏览器开发者工具,之后点击"Network",

可以发现其中的规律,

复制代码
https://cloud.kepuchina.cn/newSearch/imageText?category_id=0&can_down=0 

https://cloud.kepuchina.cn/newSearch/imageText?s=&start_time=&end_time=&type=1&keyword=&can_down=0&category_id=0&size=21&sort_rule=0&industry_category=0&subject_category=0&kp_category=0&crowd_category=0&spread_category=0&page=2 

https://cloud.kepuchina.cn/newSearch/imageText?s=&start_time=&end_time=&type=1&keyword=&can_down=0&category_id=0&size=21&sort_rule=0&industry_category=0&subject_category=0&kp_category=0&crowd_category=0&spread_category=0&page=3

到此,这就是整个爬取该目标网站文章的大致思路。

3.2 环境准备

在着手进行 Python 爬虫项目开发代码的编写之前,做好充分的准备工作是至关重要的。首先,要确保 Python 环境已经正确安装并配置妥当。

此外,还需要确保已经安装了一些爬虫项目中大概率会用到的第三方库。如未安装,可以使用下列命令进行安装:

复制代码
pip3 install lxml # 是一个高性能的 XML 和 HTML 解析库,可以快速地解析网页的 HTML 代码,并且支持通过 XPath 和 CSS 选择器等方式精准定位页面中的元素,方便提取所需的数据,解析速度相较于一些其他的解析方式往往更快。

pip3 install bs4 # BeautifulSoup是一个强大的 HTML/XML 解析库,能将复杂的 HTML 或 XML 文档转换为树形结构,方便用户通过标签名、类名、ID 等属性查找和提取数据。

pip3 install pandas  # 是一个功能强大的数据处理和分析库,提供了名为 DataFrame 的数据结构,便于对数据进行整理、清洗、转换以及各种数据分析操作。

pip3 install xlwt  # 主要用于创建和写入 Excel 文件(.xls 格式)。

pip3 install openpyxl  # 侧重于处理新版本的 Excel 文件(.xlsx 格式),支持对 Excel 文件进行读、写以及各种复杂的单元格格式设置、数据填充等操作。

pip3 install requests # 能够简单且高效地发送各种 HTTP 请求(比如 GET、POST 等请求方法),可以方便地处理请求头、请求参数、Cookie 等相关信息。
相关推荐
Python×CATIA工业智造1 小时前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
onceco2 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
我叫小白菜2 小时前
【Java_EE】单例模式、阻塞队列、线程池、定时器
java·开发语言
狐凄3 小时前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
weixin_446122464 小时前
JAVA内存区域划分
java·开发语言·redis
悦悦子a啊4 小时前
Python之--基本知识
开发语言·前端·python
QuantumStack4 小时前
【C++ 真题】P1104 生日
开发语言·c++·算法
whoarethenext5 小时前
使用 C++/OpenCV 和 MFCC 构建双重认证智能门禁系统
开发语言·c++·opencv·mfcc
笑稀了的野生俊5 小时前
在服务器中下载 HuggingFace 模型:终极指南
linux·服务器·python·bash·gpu算力
Naiva5 小时前
【小技巧】Python+PyCharm IDE 配置解释器出错,环境配置不完整或不兼容。(小智AI、MCP、聚合数据、实时新闻查询、NBA赛事查询)
ide·python·pycharm