Python网络爬虫(二):Requests库

1 请求方式

Requests模块常用的两种请求方式是GET和POST.

1.1 GET请求

GET请求可以在url中携带参数,以百度为例:

python 复制代码
# 不带参数
https://www.baidu.com/
# 带参数wd
https://www.baidu.com/s?wd=iphone

Requests实现GET请求,对于带参数的URL有两种请求方式:

python 复制代码
import requests

# 第一种方式
response = requests.get('https://www.baidu.com/s?wd=iphone')

# 第二种方式
url = 'https://www.baidu.com/s'
params = {'wd':'iphone'}
response = requests.get(url, params=params)

两种方式都是请求同一个url,但第一种方式更加简洁,如果参数是动态变化的,可以使用格式化字符串对url动态设置,例如f"https://www.baidu.com/s?wd={传入变量}"

1.2 POST请求

POST请求也就是提交表单,表单的数据内容就是POST的请求参数。POST请求的参数data的数据格式可以为字典、元组、列表和JSON格式。

当向服务器发送请求后,服务器会返回相应的响应对象(response),包含服务器响应的信息。requests提供以下方法获取响应内容。

|----------------------|--------------------------------------------------|
| r.status_code | 响应状态码 |
| r.raw | 原始响应体、使用r.raw.read()读取 |
| r.content | 字节方式的响应体,需要进行解码 |
| r.text | 字符串方式的响应体,会自动根据响应头部的字符编码进行解码 |
| r.headers | 以字典对象存储服务器响应头,但这个字典比较特殊,字典键不区分大小写,若键不存在,则返回None。 |
| r.json() | Requests中内置的JSON解码器 |
| r.raise_for_status() | 请求失败(非200响应),抛出异常 |
| r.url | 获取请求链接 |
| r.cookies | 获取请求后的cookies |
| r.encoding | 获取编码格式 |

2 复杂的请求方式

2.1 添加请求头

请求头为字典形式,在requests中的参数名为headers,示例代码如下:

python 复制代码
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36"
        }

requests.get("https://www.jd.com", headers=headers)

2.2 使用代理ip

代理ip的使用方法笔者将会在之后单独写文章介绍,这里只做演示。代理ip的使用方法与请求头的使用方法一致,需要设置proxies参数,示例代码如下:

python 复制代码
import requests
proxies = {
    "http": "http://10.120.1.110:8888",
    "https": "http://10.120.1.110:8888",
    }

requests.get("https://www.jd.com/", proxies=proxies)

2.3 证书验证

通常设置关闭验证即可,即verify=False,默认情况下是True。示例代码如下:

python 复制代码
import requests

url = "https://www.jd.com"
# 关闭证书验证
response = requests.get(url, verify=False)

3 总结

Requests是Python的一个很实用的HTTP客户端库,可完全满足如今编写网络爬虫程序的需求,是爬虫开发人员首选的爬虫库。其具有语法简单易懂,完全符合Python优雅和简洁的特性,在兼容性上完全兼容Python任何版本,具有较强的适用性。

使用Requests发送请求时可以携带以下几种常见的参数:

python 复制代码
import requests

url = 'https://www.jd.com'

# GET请求

response = requests.get(url, headers=headers, proxies=proxies, verify=False, cookies=cookies)

# POST 请求

response = requests.post(url, headers=headers, proxies=proxies, verify=False, cookies=cookies)
相关推荐
Thanks_ks17 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP17 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
yiangL_18 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula88819 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
数字工作台20 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent
DKPT20 小时前
Python 的 Web 框架:选型选错的人,都踩了同一个坑
python
2401_8685347821 小时前
逻辑网络设计
网络·python
2601_9679791221 小时前
python如何组织文件?python文件操作全介绍!
python·文件操作·压缩文件·遍历文件夹·shutil模块
青少儿编程课堂21 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:扫描线与线段树求矩形面积并解析
c++·python·算法·bfs·信息学竞赛
利威尔xu1 天前
Go channel 关闭 3 个 panic:向已关闭 channel 发送,服务当场崩溃
开发语言·后端·golang·并发编程·channel