爬虫学习之前置知识

爬虫学习(前期知识学习)

一、web请求过程剖析

服务器渲染

这种渲染方式是在服务器端将数据与html整合在一起然后统一返回给浏览器。因此这一种方式在页面源代码中可以看到数据。

客户端渲染

这种方式与服务器渲染有所差异,分为两次请求: ①:只拿到一个html骨架并没有数据 ②:第二次请求则是拿到数据进行数据展示 这一次方式在页面源代码中是看不到数据的。


例如: 在豆瓣上喜剧片排行榜上: 在网页源代码查找关键词"憨豆" 发现并没有结果。接着查看network发现第一次请求只有html的骨架并无后端返回的数据展示。 这与客户端渲染描述一致~

接着往下看后面的请求: toplist排行列表无疑应该是后端返回的响应数据,点开一看第一名与网页显示一致确实是美丽人生的一段json,说明这就是第二次发送的请求。


二、HTTP协议

背景

协议:是两个计算机之间为了能流畅的进行沟通而设置的约定,常见的协议就有HTTP协议、TCP/IP协议、SMIP协议......

HTTP协议:浏览器与服务器之间的数据交互所遵守的协议

HTTP协议把一条信息分为三块内容:

请求

1 请求行:主要是请求方式 请求url地址 协议

2 请求头:放一些服务器要使用的附加信息

{ 请求头中对于爬虫比较重要的内容:

1.User---Agent:请求载体的身份标识(用什么发送的这请求)

2.Referer:防盗链(这次请求从哪个页面来,反爬)

3.cookie:本地字符串数据信息(用户登录信息,反爬的token) }

4 请求体:放一些请求参数
响应:

1 状态行 :协议 状态码

2 响应头 :放一些客户端要使用的一些附加信息

{响应头中爬虫比较重要的内容:

1.cookie:本地字符串数据信息(用户登录信息,反爬的token)

2.各种诡异的字符串跟token类似防止各种攻击与反爬)

3:服务器返回的真正客户端需要的内容

相关推荐
wuyk55520 小时前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
wuyk5553 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5553 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10213 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
wuyk5554 天前
Spider-第10讲-SQLite持久化与去重
数据库·爬虫·sqlite
wuyk5554 天前
Spider-第09讲-三格式落盘CSV-Excel-JSON
爬虫·python·json·excel
wuyk5555 天前
Spider-第07讲-JSON接口与正则提取
爬虫·python·json
feasibility.5 天前
一物降一物?AI逆向没有终局:REA拆App,BLA设套,LASIK清场
人工智能·爬虫·github·逆向·skill·rea
wuyk5557 天前
Spider-第03讲-HTTP速通与读懂响应
网络·爬虫·网络协议·http
xyzzklk13 天前
在Open-WebUI中提升向量化速度
网络·人工智能·爬虫·ai·语言模型·自然语言处理·安卓