requests爬虫详解

Requests

安装

pip install requests

示例

from fake_useragent import UserAgent
import requests


def cra1_1():
url = 'http://xx/front/website/findAllTypes'
headers = {'User-Agent': UserAgent().chrome}
resp = requests.get(url, headers=headers)
result = resp.json()


if __name__ == '__main__':
cra1_1()          

发送请求

GET请求

resp = requests.get(url,headers= headers,params=params1) #headers,params1是字典

POST请求

resp = requests.post(url,headers=headers,data=data) #headers,data是字典

获取响应信息

获取响应信息

resp.status_code 获取状态码

resp.text 获取响应内容 (以字符串)

resp.json() 获取响应内容【python数据,可直接用jsonpath解析】

resp.content 获取响应内容(以字节的方式)

resp.headers 获取响应头内容

resp.url 获取访问地址

resp.encoding 获取网页编码

resp.request.headers 请求头内容

resp.cookie 获取cookie

功能

代理访问

proxies = {"http": "http://10.10.1.10:3128","https": "https://10.10.1.10:1080",}
requests.get("http://www.zhidaow.com", proxies=proxies)

设置超时时间

requests.get('http://github.com', timeout=0.001)

session自动保存cookies

s = requests.Session() # 创建一个session对象
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789') # 用session对象发出get请求,设置cookies

ssl验证

requests.packages.urllib3.disable_warnings() # 禁用安全请求警告
resp = requests.get(url, verify=False, headers=headers)
相关推荐
Open-AI10 分钟前
Python如何判断一个数是几位数
python
IT技术分享社区11 分钟前
C#实战:使用腾讯云识别服务轻松提取火车票信息
开发语言·c#·云计算·腾讯云·共识算法
极客代码14 分钟前
【Python TensorFlow】入门到精通
开发语言·人工智能·python·深度学习·tensorflow
义小深16 分钟前
TensorFlow|咖啡豆识别
人工智能·python·tensorflow
疯一样的码农20 分钟前
Python 正则表达式(RegEx)
开发语言·python·正则表达式
&岁月不待人&42 分钟前
Kotlin by lazy和lateinit的使用及区别
android·开发语言·kotlin
StayInLove1 小时前
G1垃圾回收器日志详解
java·开发语言
无尽的大道1 小时前
Java字符串深度解析:String的实现、常量池与性能优化
java·开发语言·性能优化
爱吃生蚝的于勒1 小时前
深入学习指针(5)!!!!!!!!!!!!!!!
c语言·开发语言·数据结构·学习·计算机网络·算法
binishuaio1 小时前
Java 第11天 (git版本控制器基础用法)
java·开发语言·git