爬虫学习之前置知识

爬虫学习(前期知识学习)

一、web请求过程剖析

服务器渲染

这种渲染方式是在服务器端将数据与html整合在一起然后统一返回给浏览器。因此这一种方式在页面源代码中可以看到数据。

客户端渲染

这种方式与服务器渲染有所差异,分为两次请求: ①:只拿到一个html骨架并没有数据 ②:第二次请求则是拿到数据进行数据展示 这一次方式在页面源代码中是看不到数据的。


例如: 在豆瓣上喜剧片排行榜上: 在网页源代码查找关键词"憨豆" 发现并没有结果。接着查看network发现第一次请求只有html的骨架并无后端返回的数据展示。 这与客户端渲染描述一致~

接着往下看后面的请求: toplist排行列表无疑应该是后端返回的响应数据,点开一看第一名与网页显示一致确实是美丽人生的一段json,说明这就是第二次发送的请求。


二、HTTP协议

背景

协议:是两个计算机之间为了能流畅的进行沟通而设置的约定,常见的协议就有HTTP协议、TCP/IP协议、SMIP协议......

HTTP协议:浏览器与服务器之间的数据交互所遵守的协议

HTTP协议把一条信息分为三块内容:

请求

1 请求行:主要是请求方式 请求url地址 协议

2 请求头:放一些服务器要使用的附加信息

{ 请求头中对于爬虫比较重要的内容:

1.User---Agent:请求载体的身份标识(用什么发送的这请求)

2.Referer:防盗链(这次请求从哪个页面来,反爬)

3.cookie:本地字符串数据信息(用户登录信息,反爬的token) }

4 请求体:放一些请求参数
响应:

1 状态行 :协议 状态码

2 响应头 :放一些客户端要使用的一些附加信息

{响应头中爬虫比较重要的内容:

1.cookie:本地字符串数据信息(用户登录信息,反爬的token)

2.各种诡异的字符串跟token类似防止各种攻击与反爬)

3:服务器返回的真正客户端需要的内容

相关推荐
过往入尘土10 小时前
网络爬虫的相关知识和操作
爬虫
Elastic 中国社区官方博客10 小时前
在 Windows 上使用 Docker 运行 Elastic Open Crawler
大数据·windows·爬虫·elasticsearch·搜索引擎·docker·容器
平凡灵感码头10 小时前
用 urllib 开启爬虫之门:从零掌握网页数据抓取
爬虫
小关会打代码14 小时前
Python编程进阶知识之第二课学习网络爬虫(requests)
爬虫·python·学习
wadesir16 小时前
Python获取网页乱码问题终极解决方案 | Python爬虫编码处理指南
开发语言·爬虫·python
羊八井18 小时前
使用 Playwright 构建小红书笔记采集:从架构设计到实战应用
爬虫·python
q567315233 天前
使用aiohttp实现高并发爬虫
javascript·css·爬虫·python
q567315234 天前
Selenium动态网页爬虫编写与解释
爬虫·selenium·测试工具
是小崔啊4 天前
【爬虫】02 - 静态页面的抓取和解析
爬虫
捉鸭子5 天前
转转APP逆向
爬虫·python·网络安全·网络爬虫