requests爬虫详解

Requests

安装

pip install requests

示例

from fake_useragent import UserAgent
import requests


def cra1_1():
url = 'http://xx/front/website/findAllTypes'
headers = {'User-Agent': UserAgent().chrome}
resp = requests.get(url, headers=headers)
result = resp.json()


if __name__ == '__main__':
cra1_1()          

发送请求

GET请求

resp = requests.get(url,headers= headers,params=params1) #headers,params1是字典

POST请求

resp = requests.post(url,headers=headers,data=data) #headers,data是字典

获取响应信息

获取响应信息

resp.status_code 获取状态码

resp.text 获取响应内容 (以字符串)

resp.json() 获取响应内容【python数据,可直接用jsonpath解析】

resp.content 获取响应内容(以字节的方式)

resp.headers 获取响应头内容

resp.url 获取访问地址

resp.encoding 获取网页编码

resp.request.headers 请求头内容

resp.cookie 获取cookie

功能

代理访问

proxies = {"http": "http://10.10.1.10:3128","https": "https://10.10.1.10:1080",}
requests.get("http://www.zhidaow.com", proxies=proxies)

设置超时时间

requests.get('http://github.com', timeout=0.001)

session自动保存cookies

s = requests.Session() # 创建一个session对象
s.get('http://httpbin.org/cookies/set/sessioncookie/123456789') # 用session对象发出get请求,设置cookies

ssl验证

requests.packages.urllib3.disable_warnings() # 禁用安全请求警告
resp = requests.get(url, verify=False, headers=headers)
相关推荐
Biomamba生信基地几秒前
两天入门R语言,周末开讲
开发语言·r语言·生信
RAN_PAND2 分钟前
STL介绍1:vector、pair、string、queue、map
开发语言·c++·算法
Bio Coder5 分钟前
R语言安装生物信息数据库包
开发语言·数据库·r语言
Tiger Z5 分钟前
R 语言科研绘图第 27 期 --- 密度图-分组
开发语言·程序人生·r语言·贴图
不会Hello World的小苗6 分钟前
Java——列表(List)
java·python·list
m0_748235952 小时前
Python大数据可视化:基于Python的王者荣耀战队的数据分析系统设计与实现_flask+hadoop+spider
hadoop·python·flask
life_time_2 小时前
C语言(22)
c语言·开发语言
Dyan_csdn2 小时前
【Python项目】基于Python的Web漏洞挖掘系统
网络·python·安全·web安全
Minner-Scrapy3 小时前
DApp 开发入门指南
开发语言·python·web app