爬虫基础--requests模块

1、requests模块的认识

requests模块的认识请跳转到 requests请求库使用_使用requests库-CSDN博客

2、爬取数据

这里我们以b站动漫追番人数为例。

首先进去b站官网

鼠标右键点击检查或者键盘的F12,进入开发者模式。(这里我使用的是谷歌浏览器为例)

然后使用 ctrl+f 进入搜索模式,搜索 鬼灭之刃 柱训练篇 ,然后点击该页面的标头 ,把请求网址载荷中的数据复制下来复制下来,还有user-agent。

(请求方法为GET;content-type : application/json)

进去pycharm中使用requests模块,将复制的请求网址(?号前的)放入url中,复制的载荷中的数据变成字典并且命名为params,将复制的 user-agent 也变为字典形式命名为headers。

使用requests模块中自带的json进行对数据解析(上文中的content-type就是请求下来的格式),在解析完成后得到的是一个字典格式的数据,然后获取想要的数据。

请求完成后,获取的数据。

相关推荐
承渊政道1 小时前
【Python编程—从入门到实践】(Python条件判断完全入门:从布尔表达式到列表中的if实战)
开发语言·python·pycharm·条件判断·布尔表达式
小灰灰搞电子1 小时前
Rust 相关容器(集合)详解
开发语言·容器·rust
circuitsosk2 小时前
企业知识库 RAG 从 62% 到 91%:分块策略、混合检索与重排序的调优全记录
python·知识库问答·rag·面试项目·ai工程化·混合检索
烂蜻蜓3 小时前
Flask入门教程(二十六):Session API——用户会话状态管理
后端·python·flask
2603_965148114 小时前
家居百货蓝海:API挖掘高复购率生活小商品
大数据·服务器·人工智能·python·生活
萧瑟余晖5 小时前
Java深入解析篇三十三之密封类与接口(Sealed Classes)详解
java·开发语言
阿童木写作8 小时前
跨境电商图片翻译工具推荐:批量图片翻译+视频字幕翻译+智能抠图
python·macos·音视频·xcode
cui_ruicheng8 小时前
LangChain 应用开发(十四):Agent 上下文与记忆机制
服务器·人工智能·python·langchain
论迹复利8 小时前
FreeRTOS 在 RISC-V 上是如何“点火“的 —— 从 main() 到第一个任务的完整链路
java·开发语言·risc-v
circuitsosk9 小时前
任务规划器的三种范式对比:ReAct、Plan-and-Execute 与 Tree-of-Thought 在真实业务中的取舍
前端·javascript·python·react.js·llm·ai agent