爬虫学习之前置知识

爬虫学习(前期知识学习)

一、web请求过程剖析

服务器渲染

这种渲染方式是在服务器端将数据与html整合在一起然后统一返回给浏览器。因此这一种方式在页面源代码中可以看到数据。

客户端渲染

这种方式与服务器渲染有所差异,分为两次请求: ①:只拿到一个html骨架并没有数据 ②:第二次请求则是拿到数据进行数据展示 这一次方式在页面源代码中是看不到数据的。


例如: 在豆瓣上喜剧片排行榜上: 在网页源代码查找关键词"憨豆" 发现并没有结果。接着查看network发现第一次请求只有html的骨架并无后端返回的数据展示。 这与客户端渲染描述一致~

接着往下看后面的请求: toplist排行列表无疑应该是后端返回的响应数据,点开一看第一名与网页显示一致确实是美丽人生的一段json,说明这就是第二次发送的请求。


二、HTTP协议

背景

协议:是两个计算机之间为了能流畅的进行沟通而设置的约定,常见的协议就有HTTP协议、TCP/IP协议、SMIP协议......

HTTP协议:浏览器与服务器之间的数据交互所遵守的协议

HTTP协议把一条信息分为三块内容:

请求

1 请求行:主要是请求方式 请求url地址 协议

2 请求头:放一些服务器要使用的附加信息

{ 请求头中对于爬虫比较重要的内容:

1.User---Agent:请求载体的身份标识(用什么发送的这请求)

2.Referer:防盗链(这次请求从哪个页面来,反爬)

3.cookie:本地字符串数据信息(用户登录信息,反爬的token) }

4 请求体:放一些请求参数
响应:

1 状态行 :协议 状态码

2 响应头 :放一些客户端要使用的一些附加信息

{响应头中爬虫比较重要的内容:

1.cookie:本地字符串数据信息(用户登录信息,反爬的token)

2.各种诡异的字符串跟token类似防止各种攻击与反爬)

3:服务器返回的真正客户端需要的内容

相关推荐
子竹聆风19 小时前
Feapder框架UpdateItem使用技巧:如何优雅地实现"只更新有值字段"
爬虫
吴秋霖4 天前
主流反爬虫、反作弊防护与风控对抗手段
爬虫·算法·反爬虫技术
hui函数4 天前
scrapy框架-day02
后端·爬虫·python·scrapy
用户051610461675 天前
爬虫 API 技术全解析:从原理到实战的高效数据采集指南
爬虫·api
xiaoxiongip6666 天前
动态ip适合挂什么项目
网络·爬虫·python·网络协议·tcp/ip·ip
q567315237 天前
自动化拨号爬虫体系:虚拟机集群部署与增量管理
运维·爬虫·网络协议·自动化
电商API_180079052477 天前
淘宝商品视频批量自动化获取的常见渠道分享
java·爬虫·自动化·网络爬虫·音视频
果壳~8 天前
【Python】爬虫html提取内容基础,bs4
爬虫·python·html
jay神8 天前
基于Python的商品爬取与可视化系统
爬虫·python·数据分析·毕业设计·可视化系统
华科云商xiao徐8 天前
如何在C语言环境中借助Linux库构建高效网络爬虫
爬虫·数据挖掘·数据分析