爬虫基础--requests模块

1、requests模块的认识

requests模块的认识请跳转到 requests请求库使用_使用requests库-CSDN博客

2、爬取数据

这里我们以b站动漫追番人数为例。

首先进去b站官网

鼠标右键点击检查或者键盘的F12,进入开发者模式。(这里我使用的是谷歌浏览器为例)

然后使用 ctrl+f 进入搜索模式,搜索 鬼灭之刃 柱训练篇 ,然后点击该页面的标头 ,把请求网址载荷中的数据复制下来复制下来,还有user-agent。

(请求方法为GET;content-type : application/json)

进去pycharm中使用requests模块,将复制的请求网址(?号前的)放入url中,复制的载荷中的数据变成字典并且命名为params,将复制的 user-agent 也变为字典形式命名为headers。

使用requests模块中自带的json进行对数据解析(上文中的content-type就是请求下来的格式),在解析完成后得到的是一个字典格式的数据,然后获取想要的数据。

请求完成后,获取的数据。

相关推荐
xiangpanf3 分钟前
PHP vs Python:30字看透两大语言差异
开发语言·php
江沉晚呤时7 分钟前
.NET 9 快速上手 RabbitMQ 直连交换机:高效消息传递实战指南
开发语言·分布式·后端·rabbitmq·.net·ruby
2401_884662109 分钟前
爬虫对抗:ZLibrary反爬机制实战分析技术文章大纲
爬虫
yunyun3212320 分钟前
嵌入式C++驱动开发
开发语言·c++·算法
Storynone20 分钟前
【Day29】LeetCode:62. 不同路径,63. 不同路径 II,343. 整数拆分,96. 不同的二叉搜索树
python·算法·leetcode
左左右右左右摇晃22 分钟前
Java笔记 —— 值传递与“引用传递”
java·开发语言·笔记
chushiyunen25 分钟前
python语法-继承、方法命名、单例等
开发语言·python
咚咚王者26 分钟前
人工智能之语言领域 自然语言处理 第十八章 Python NLP生态
人工智能·python·自然语言处理
码路飞27 分钟前
AI 写的代码越来越多,但你敢直接上线吗?我的多模型交叉 Review 方案
python·openai
MgArcher28 分钟前
Python 入门核心考点:数据类型与变量全解
python