爬虫基础--requests模块

1、requests模块的认识

requests模块的认识请跳转到 requests请求库使用_使用requests库-CSDN博客

2、爬取数据

这里我们以b站动漫追番人数为例。

首先进去b站官网

鼠标右键点击检查或者键盘的F12,进入开发者模式。(这里我使用的是谷歌浏览器为例)

然后使用 ctrl+f 进入搜索模式,搜索 鬼灭之刃 柱训练篇 ,然后点击该页面的标头 ,把请求网址 和载荷中的数据复制下来复制下来,还有user-agent。

(请求方法为GET;content-type : application/json)

进去pycharm中使用requests模块,将复制的请求网址(?号前的)放入url中,复制的载荷中的数据变成字典并且命名为params,将复制的 user-agent 也变为字典形式命名为headers。

使用requests模块中自带的json进行对数据解析(上文中的content-type就是请求下来的格式),在解析完成后得到的是一个字典格式的数据,然后获取想要的数据。

请求完成后,获取的数据。

相关推荐
沐晓时光几秒前
C语言入门,深入理解指针(2)
c语言·开发语言
vx_Biye_Design1 分钟前
django就业信息推荐系统61953-计算机课程设计、毕业设计
java·vue.js·spring boot·python·架构·django·课程设计
零基础12310 分钟前
VoiceStudio 开源项目深度解析:特性、对比与实战测试
人工智能·经验分享·python·开源
2601_9628857214 分钟前
如何用 Python 做均线粘合选股?(多头发散前的变盘候选)
开发语言·python
zhangzeyuaaa16 分钟前
Ruby 方法参数完全指南:默认值、可变参数与关键字参数
前端·python·ruby
2601_9620715719 分钟前
类变量和全局变量的隔离性有什么区别?
java·开发语言·jvm
小小张说故事22 分钟前
pytest 写了用例却不跑、fixture 不生效、参数化全失效?9 个高频坑对照表
python
海绵宝宝转agent26 分钟前
LeetCode100 LRU缓存思路讲解
java·开发语言·缓存
外收内放33 分钟前
08 | 优化篇③ 60 张动作立绘和 50 张特效贴图是怎么进游戏的
python·游戏·pygame
计算机毕业编程指导师1 小时前
【计算机毕设推荐】基于Hadoop+Django的LLM多维度性能评估分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·python·django·毕业设计·课程设计·llm性能