Python爬虫案例分享

古猫先生2024-01-20 11:59

1. 导入所需库：

import requests
from bs4 import BeautifulSoup

requests库：这是一个Python HTTP客户端库，用于发送HTTP请求。在这个案例中，我们使用它来向目标网站发送GET请求，获取网页内容。
BeautifulSoup库：它是Python的一个解析库，主要用于解析HTML和XML文档。在爬虫项目中，我们经常用它来解析从网页获取的HTML文本，提取我们需要的数据。

2. 发送GET请求：

url = 'https://news.example.com/latest'
response = requests.get(url)

这段代码定义了要爬取的URL，并通过requests.get()函数发送一个GET请求到该URL。返回的response对象包含了服务器对请求的响应，包括状态码、响应头和网页内容等信息。

3. 检查请求是否成功：

if response.status_code == 200:

HTTP状态码200表示请求成功。如果请求失败或者服务器无法正常响应，状态码会是其他值。这里我们只处理成功的情况。

4. 解析HTML并提取数据：

soup = BeautifulSoup(response.text, 'html.parser')
news_titles = soup.find_all('h2')

for title in news_titles:
    print(title.text.strip())

首先，我们调用BeautifulSoup的构造函数，传入response的text属性（即网页内容）进行解析。然后，我们使用find_all()方法查找所有的'h2'标签，通常新闻标题会在这样的大标题标签内。最后，遍历找到的所有'h2'标签，提取并打印出它们的文本内容（title.text），strip()函数用于去除字符串首尾的空白字符。

这就是这个简单Python爬虫的基本原理和流程。实际编写爬虫时，根据不同的网页结构和需要抓取的数据，可能需要使用更复杂的BeautifulSoup选择器或方法来定位和提取信息。