Python爬虫基础第一章,JSON

一个爬虫主要的三个核心协议:http、https,wss

WSS协议用作视频的弹幕,实时更新的数据

网页中找到对应的接口,有动态接口和静态接口

动态数据是后端进行动态加载的

静态数据是纯静态资源,比如CSS、JS、HTML

先F12那里在浏览器设置代码折叠

在爬虫中,网页的F12的"元素"界面称之为DOM,如果没有DOM,那JS就不能生效

DOM文档对象模型,JS通过DOM来获取对象

F12源代码界面叫静态资源,这个界面里面的HTML文件和元素中的不太一样

只要在这里面找不到的数据,都是动态数据(除了加密的)

F12的网络界面是一个监听器,它并不是抓包的。抓包的定义是能修改、篡改

XHR:结构化动态数据

文档:静态的html数据

WS:上面说到的全称WSS

Wasm是一个加密机制

在F12的XHR中,刷新界面产生了两个接口,区分方法就看数据大小。数据大的里边有东西,可能是加密数据

右击内存大的接口,点复制-复制为cURL(base)

curlconverter.com

这个网站可以一键生成Python爬虫脚本

在Python PyCharm下边的终端里下载东西,有的时候你在CMD里下载PCHM识别不了是因为它们都是单独的,pycharm在你新建一个项目后会给你设置一个虚拟环境

在PyCharm右击代码打开终端,在这上面下载requests

pip install requests

headers:模拟浏览器的请求头

在最后面的代码加一个.json()

之后打印这个

response = requests.get().json()

print(response)

这样你就会得到和他一样的请求

在后面拼接是把它从服务器返回的数据类型进行转变

为什么加.json(),只要在浏览器中返回的数据是有大括号{},那他就是json型数据

这个指令是把它从HTTP响应的格式转换为Python的字典和列表

在浏览器的一处JS代码,把明文换成密文

相关推荐
青少儿编程课堂39 分钟前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
Starry-sky(jing)1 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
2601_967979122 小时前
“Python,就是新的 BASIC!”
python·编程语言·历史·basic·比较
青少儿编程课堂2 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:Dinic最大流解析
c++·python·算法·bfs·信息学竞赛
专注仿真2 小时前
基于 AFSIM 的智能体训练:多智能体强化学习篇 —— QTRAN 算法实战
开发语言·python·算法·php·强化学习·afsim智能体·仿真训练
2601_967987374 小时前
Python类变量和实例变量(类属性和实例属性)
python·类变量·实例变量·类属性·实例属性
CyrusYiVPP4 小时前
新用户第二周还剩几个?pandas做留存率cohort分析,数据分析实战第6期
人工智能·python
岁月宁静13 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者14 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy199016 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala