Python爬虫案例分享

1. 导入所需库:

复制代码
import requests
from bs4 import BeautifulSoup
  • requests库:这是一个Python HTTP客户端库,用于发送HTTP请求。在这个案例中,我们使用它来向目标网站发送GET请求,获取网页内容。
  • BeautifulSoup库:它是Python的一个解析库,主要用于解析HTML和XML文档。在爬虫项目中,我们经常用它来解析从网页获取的HTML文本,提取我们需要的数据。

2. 发送GET请求:

复制代码
url = 'https://news.example.com/latest'
response = requests.get(url)

这段代码定义了要爬取的URL,并通过requests.get()函数发送一个GET请求到该URL。返回的response对象包含了服务器对请求的响应,包括状态码、响应头和网页内容等信息。

3. 检查请求是否成功:

复制代码
if response.status_code == 200:

HTTP状态码200表示请求成功。如果请求失败或者服务器无法正常响应,状态码会是其他值。这里我们只处理成功的情况。

4. 解析HTML并提取数据:

复制代码
soup = BeautifulSoup(response.text, 'html.parser')
news_titles = soup.find_all('h2')

for title in news_titles:
    print(title.text.strip())

首先,我们调用BeautifulSoup的构造函数,传入response的text属性(即网页内容)进行解析。然后,我们使用find_all()方法查找所有的'h2'标签,通常新闻标题会在这样的大标题标签内。最后,遍历找到的所有'h2'标签,提取并打印出它们的文本内容(title.text),strip()函数用于去除字符串首尾的空白字符。

这就是这个简单Python爬虫的基本原理和流程。实际编写爬虫时,根据不同的网页结构和需要抓取的数据,可能需要使用更复杂的BeautifulSoup选择器或方法来定位和提取信息。

相关推荐
岁月宁静6 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者6 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy19908 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5559 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
kyle~15 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
aiotto资源分享16 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
梯度下降者17 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信
MSTcheng.17 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手
the局外人18 小时前
Python 实战检索优化:BM25、向量与重排
数据库·后端·python
__underline__18 小时前
冷门Python知识点006篇:Python 类体里的名字,能被"凭空造出来"
后端·python