爬虫基础--requests模块

1、requests模块的认识

requests模块的认识请跳转到 requests请求库使用_使用requests库-CSDN博客

2、爬取数据

这里我们以b站动漫追番人数为例。

首先进去b站官网

鼠标右键点击检查或者键盘的F12,进入开发者模式。(这里我使用的是谷歌浏览器为例)

然后使用 ctrl+f 进入搜索模式,搜索 鬼灭之刃 柱训练篇 ,然后点击该页面的标头 ,把请求网址载荷中的数据复制下来复制下来,还有user-agent。

(请求方法为GET;content-type : application/json)

进去pycharm中使用requests模块,将复制的请求网址(?号前的)放入url中,复制的载荷中的数据变成字典并且命名为params,将复制的 user-agent 也变为字典形式命名为headers。

使用requests模块中自带的json进行对数据解析(上文中的content-type就是请求下来的格式),在解析完成后得到的是一个字典格式的数据,然后获取想要的数据。

请求完成后,获取的数据。

相关推荐
扫地僧985几秒前
一个基于 PyTorch 手语翻译模型Xuanmen_Net
人工智能·pytorch·python
zyl83721几秒前
Python 函数、模块、异常处理 超详细入门教程
开发语言·windows·python
苏州IT威翰德6 分钟前
苏州IT基础架构IQ/OQ/PQ确认服务 | 服务器网络验证
开发语言·php
Xin_ye1008619 分钟前
C# 零基础到精通教程 - WPF 专题二:数据绑定与 MVVM
开发语言·c#·wpf
白狐_79822 分钟前
从功能开发到开源维护:一个 Python 可视化项目的 Git 分支、维护文件与 PR 流程实践
git·python·开源
我是一颗柠檬25 分钟前
【Java后端技术亮点】Feed流三级缓存设计,从10秒到100毫秒的优化实战
java·开发语言·后端·缓存
兆。26 分钟前
LangChain文档处理集成指南:面向知识管理开发者
开发语言·langchain·c#
Brilliantwxx26 分钟前
【算法从零到千】【1-7】 双指针算法
开发语言·c++·笔记·算法·leetcode·推荐算法
俊哥工具27 分钟前
不用打开文件也能预览!支持压缩包、PDF、音视频
python·智能手机·django·pdf·计算机外设·virtualenv
深蓝电商API28 分钟前
当爬虫遇见大模型:AI驱动的智能数据采集新范式
人工智能·爬虫