爬虫中request模块

一、基本使用

1、导入模块

复制代码
import requests

2、指定URL

复制代码
url = "https://httpbin.org/id"

3、发送请求

  • 使用requests.get(url)发送GET请求。
  • 使用requests.post(url, data=data, headers=headers)发送POST请求,其中data是请求体中的数据,headers是请求头信息。

4、 获取响应:

  • 响应对象包含了服务器返回的所有信息,如状态码、响应内容等。
  • 示例代码:response = requests.get(url)

5、解析响应:

  • 通过response.text获取响应内容的字符串形式。
  • 通过response.content获取响应内容的二进制形式。
  • 通过response.status_code获取HTTP状态码,如200表示成功。
  • 通过response.headers获取响应头信息。

6、持久化存储(可选):将爬取的数据保存到文件或数据库中。

二、HTTP请求类型

  • GET:用于请求访问已被URI(统一资源标识符)识别的资源。
  • POST:用于提交表单数据或上传文件。
  • HEAD:类似于GET请求,但服务器在响应中只返回首部,不返回实体的主体部分。
  • PUT:用于上传文件,更新资源等。
  • DELETE:请求服务器删除指定的页面。
  • OPTIONS:允许客户端查看服务器的性能。
  • PATCH:用于对资源进行部分修改。
  • CONNECT:HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。
  • TRACE:回显服务器收到的请求,主要用于测试或诊断。

三、请求头(Headers)

在发送HTTP请求时,通常需要设置请求头以模拟浏览器行为或传递额外信息。常见的请求头包括:

  • User-Agent:客户端标识,告诉服务器客户端使用的操作系统、浏览器等信息。
  • Accept:指定客户端能够接收的内容类型。
  • Accept-Encoding:指定客户端支持的内容编码类型。
  • Accept-Language:指定客户端优先使用的语言。
  • Connection:指定客户端是否希望保持连接。
  • Cookie:用于在HTTP请求中传递会话信息。

四、注意:

1、get 传递数据需要使用params

2、connection:指定客户端是否希望保持连接

3、cookie 用于在HTTP请求中传递会话信息

4、post 传递数据使用data传值

5、'w' 模式表示"写入模式"

6、'wb' 二进制格式写入文件

7、Cookie在爬虫中的作用不可小觑。它不仅能够帮助爬虫维持会话状态、提高爬取效率,还能够增强爬虫的适应性,甚至帮助爬虫绕过一些网站的反爬机制。

相关推荐
wuyk5551 天前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
wuyk5553 天前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
wuyk5555 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5555 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10215 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
wuyk5556 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5556 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
wuyk5557 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.7 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5559 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http