爬虫基础--requests模块

1、requests模块的认识

requests模块的认识请跳转到 requests请求库使用_使用requests库-CSDN博客

2、爬取数据

这里我们以b站动漫追番人数为例。

首先进去b站官网

鼠标右键点击检查或者键盘的F12,进入开发者模式。(这里我使用的是谷歌浏览器为例)

然后使用 ctrl+f 进入搜索模式,搜索 鬼灭之刃 柱训练篇 ,然后点击该页面的标头 ,把请求网址载荷中的数据复制下来复制下来,还有user-agent。

(请求方法为GET;content-type : application/json)

进去pycharm中使用requests模块,将复制的请求网址(?号前的)放入url中,复制的载荷中的数据变成字典并且命名为params,将复制的 user-agent 也变为字典形式命名为headers。

使用requests模块中自带的json进行对数据解析(上文中的content-type就是请求下来的格式),在解析完成后得到的是一个字典格式的数据,然后获取想要的数据。

请求完成后,获取的数据。

相关推荐
forEverPlume10 分钟前
PHP怎么使用Eloquent Attribute Composition属性组合_Laravel通过组合构建复杂属性【方法】
jvm·数据库·python
Aleeeeex18 分钟前
RAG 那点事:从 8 份企业文档到能用的问答系统,全过程拆给你看
人工智能·python·ai编程
2301_8092047029 分钟前
mysql在docker容器中如何部署_利用docker-compose快速启动
jvm·数据库·python
Legendary_0081 小时前
LDR6500:USB‑C DRP PD协议芯片技术详解与应用实践
c语言·开发语言
2301_800976931 小时前
正则表达式
开发语言·python·正则表达式
故事还在继续吗1 小时前
C++20关键特性
开发语言·c++·c++20
码界奇点2 小时前
基于Python的新浪微博数据爬虫系统设计与实现
数据库·爬虫·python·毕业设计·新浪微博·源代码管理
AI木马人2 小时前
1.人工智能实战:大模型推理接口响应慢?从模型加载到 FastAPI 部署的完整优化方案
人工智能·python·fastapi
青少儿编程课堂2 小时前
2026青少儿信息素养大赛备赛指南!Python/Scratch/C++备考要点
开发语言·c++·python