爬虫基础--requests模块

1、requests模块的认识

requests模块的认识请跳转到 requests请求库使用_使用requests库-CSDN博客

2、爬取数据

这里我们以b站动漫追番人数为例。

首先进去b站官网

鼠标右键点击检查或者键盘的F12,进入开发者模式。(这里我使用的是谷歌浏览器为例)

然后使用 ctrl+f 进入搜索模式,搜索 鬼灭之刃 柱训练篇 ,然后点击该页面的标头 ,把请求网址载荷中的数据复制下来复制下来,还有user-agent。

(请求方法为GET;content-type : application/json)

进去pycharm中使用requests模块,将复制的请求网址(?号前的)放入url中,复制的载荷中的数据变成字典并且命名为params,将复制的 user-agent 也变为字典形式命名为headers。

使用requests模块中自带的json进行对数据解析(上文中的content-type就是请求下来的格式),在解析完成后得到的是一个字典格式的数据,然后获取想要的数据。

请求完成后,获取的数据。

相关推荐
南_山无梅落几秒前
7.1-Python3序列:列表(list)与元组(tuple)核心操作
开发语言·python
Q_Q5110082851 分钟前
python+springboot+django/flask时尚内衣销售数据可视化和预测系统
spring boot·python·django·flask·node.js·php
小天博客2 分钟前
向后端发起POST请求
开发语言·前端·javascript
Han.miracle2 分钟前
Java 8 Lambda 表达式与方法引用的语法优化及实战应用研究
java·开发语言·jvm
wirepuller_king4 分钟前
数据统计分析及R语言编程-支付宝/微信消费账单数据分析
开发语言·数据分析·r语言
川川菜鸟4 分钟前
多域名 · 多节点 · 自动择优访问
python
C嘎嘎嵌入式开发5 分钟前
【NLP实战项目:中文文本分类】数据集THUCNews
人工智能·python·机器学习·自然语言处理
wuk9985 分钟前
基于帧差分法的视频运动检测MATLAB实现
开发语言·matlab·音视频
chenyuhao20246 分钟前
Linux系统编程:进程控制
linux·运维·服务器·开发语言·c++·后端
winfredzhang6 分钟前
用 Python 手搓一个 PDF 编辑器:wxPython 与 PyMuPDF 实战详解
python·pdf·合并·缩略图·书签