通过requests库使用HTTP编写的爬虫程序

q567315232023-10-29 20:41

使用Python的requests库可以方便地编写HTTP爬虫程序。以下是一个使用requests库的示例：

go 复制代码

import requests

# 发送HTTP GET请求
response = requests.get("http://example.com")

# 检查响应状态码
if response.status_code == 200:
    # 获取响应内容
    html = response.text
    
    # 处理响应内容
    # ...
else:
    print("请求失败，状态码：", response.status_code)

在这个示例中，我们首先使用requests库的get方法发送了一个HTTP GET请求，请求的URL是"http://example.com"。然后，我们通过response对象可以获取响应的状态码（status_code）和内容（text）。

如果响应的状态码是200，表示请求成功，我们可以通过response.text获取响应的HTML内容，然后对内容进行处理。如果状态码不是200，表示请求失败，我们可以根据实际情况进行相应的处理。

除了发送GET请求，requests库还提供了其他常用的HTTP方法，如POST、PUT、DELETE等，可以根据具体需求选择适合的方法。

以下是使用requests库编写的另一个爬虫程序，该程序用于爬取duokan的内容。在代码中，我们使用了爬虫IP服务器。

python 复制代码

import requests # 导入requests库

# 创建一个使用爬虫IP的session
proxy = {'http': 'http://www.duoip.cn:8000'}
s = requests.Session()
s.proxies = proxy

# 发送GET请求到www.duokan.com
r = s.get('https://www.duokan.com/')

# 打印请求的结果
print(r.text)

程序解释：

1、导入requests库，该库用于发送HTTP请求。

2、创建一个使用爬虫IP的session。这里的proxy是一个字典，其中http为爬虫IP服务器的地址和端口。

3、使用session发送一个GET请求到duokan。

4、打印请求的结果，即duokan的内容。

此外，requests库还提供了许多其他功能，如设置请求头、处理Cookies、处理重定向、处理代理等。可以查阅requests库的官方文档以了解更多详细信息。

总之，使用requests库可以轻松地发送HTTP请求，并获取响应的内容。通过合理地使用requests库的各种功能，可以编写出功能强大的爬虫程序。