Python爬虫01

requests模块

文档

  • 安装
python 复制代码
pip/pip3  install  requests
  • response.text 和 response.content的区别
python 复制代码
1.response.text 等价于 response.content.decode("推测出的编码字符集")

response.text
类型:str
编码类型:requests模块自动根据Http头部对响应的编码(response.encoding)作出有根据的推测,推测的文本编码

response.content
类型:bytes
编码类型:没有指定

2.通过对response.content进行decode,来解决中文乱码
response.content.decode() 默认utf-8
response.content.decode("gbk")
常见的编码集
utf-8
gbk
gb2312
ascii
iso-8859-1 

3.response响应对象的其他常用属性或方法
response.url 响应url(有时候响应url和请求url不一致)
response.status_code 响应状态码
response.request.headers 响应对应的请求头
response.headers 响应头
response.request._cookies 响应对应请求的cookie;返回cookieJar类型
response.cookies 响应cookie(经过set-cookie动作;返回cookieJar类型)
response.json() 自动将json字符串类型的响应内容转换为python对象
  • headers参数的使用
python 复制代码
requests.get(url, headers=headers)

 - headers 参数接收字典形式的请求头
 - 请求头字段名作为key,字段对应的值作为value
  • 发送带参数的请求
python 复制代码
 - 直接URL上拼接
 https://www.baidu.com/s?wd=python
 - 构建字典,交给params
 kw = {"wd":"python"}
 requests.get(url, headers=headers, paramas=kw)
 
  • headers中携带cookie
python 复制代码
requests.get(url, headers=headers)
  • cookies参数的使用
python 复制代码
保持会话
# 构建cookie字典
requests.get(url, cookies=cookies)
  • cookieJar的转换方法
python 复制代码
1.转换方法
cookies_dict = resquests.utils.dict_from_cookiejar(response.cookies)
2.其中response.cookies返回的就是cookiejar类型的对象
3.requests.utils.dict_from_cookiejar 函数返回cookies字典 
  • 超时时间timeout的使用
python 复制代码
response = requests.get(url, timeout=3)
  • 代理ip参数proxies的使用
python 复制代码
response = requests.get(url, proxies=proxies)
proxies的形式:字典
eg:
proxies = {
	"http":"http://xxxx",
	"https":"https://xxx"
}
  • 使用verify参数忽略CA证书
python 复制代码
verify=False
verify 参数能忽略CA证书的认证

import requests
url = "xxxx"
response = requests.get(url, verify=False) 
  • requests发送post请求
python 复制代码
response = requests.post(url, data)
data 参数接收一个字典 
  • requests.session进行状态保持
python 复制代码
requests.session的作用
  自动处理cookie,即下一次请求会带上前一次的cookie
requests.session的应用场景
  自动处理连续的多次请求过程中产生的cookie
requests.session的使用方法
  session = requests.session()  #实例化session对象
  response = session.get(url, headers, ...)
  response = session.post(url, data, ...)
  session对象发送get或者post请求的参数,与requests模块发送请求的参数完全一致 
相关推荐
良木林18 分钟前
JavaScript书写基础和基本数据类型
开发语言·前端·javascript
橡晟7 小时前
深度学习入门:让神经网络变得“深不可测“⚡(二)
人工智能·python·深度学习·机器学习·计算机视觉
墨尘游子7 小时前
神经网络的层与块
人工智能·python·深度学习·机器学习
工业甲酰苯胺7 小时前
TypeScript枚举类型应用:前后端状态码映射的最简方案
javascript·typescript·状态模式
倔强青铜37 小时前
苦练Python第18天:Python异常处理锦囊
开发语言·python
企鹅与蟒蛇8 小时前
Ubuntu-25.04 Wayland桌面环境安装Anaconda3之后无法启动anaconda-navigator问题解决
linux·运维·python·ubuntu·anaconda
autobaba8 小时前
编写bat文件自动打开chrome浏览器,并通过selenium抓取浏览器操作chrome
chrome·python·selenium·rpa
Rvelamen9 小时前
LLM-SECURITY-PROMPTS大模型提示词攻击测评基准
人工智能·python·安全
【本人】9 小时前
Django基础(一)———创建与启动
后端·python·django
SHIPKING39310 小时前
【python】基于pygame实现动态粒子爱心
开发语言·python·pygame