爬虫学习之前置知识

爬虫学习(前期知识学习)

一、web请求过程剖析

服务器渲染

这种渲染方式是在服务器端将数据与html整合在一起然后统一返回给浏览器。因此这一种方式在页面源代码中可以看到数据。

客户端渲染

这种方式与服务器渲染有所差异,分为两次请求: ①:只拿到一个html骨架并没有数据 ②:第二次请求则是拿到数据进行数据展示 这一次方式在页面源代码中是看不到数据的。


例如: 在豆瓣上喜剧片排行榜上: 在网页源代码查找关键词"憨豆" 发现并没有结果。接着查看network发现第一次请求只有html的骨架并无后端返回的数据展示。 这与客户端渲染描述一致~

接着往下看后面的请求: toplist排行列表无疑应该是后端返回的响应数据,点开一看第一名与网页显示一致确实是美丽人生的一段json,说明这就是第二次发送的请求。


二、HTTP协议

背景

协议:是两个计算机之间为了能流畅的进行沟通而设置的约定,常见的协议就有HTTP协议、TCP/IP协议、SMIP协议......

HTTP协议:浏览器与服务器之间的数据交互所遵守的协议

HTTP协议把一条信息分为三块内容:

请求

1 请求行:主要是请求方式 请求url地址 协议

2 请求头:放一些服务器要使用的附加信息

{ 请求头中对于爬虫比较重要的内容:

1.User---Agent:请求载体的身份标识(用什么发送的这请求)

2.Referer:防盗链(这次请求从哪个页面来,反爬)

3.cookie:本地字符串数据信息(用户登录信息,反爬的token) }

4 请求体:放一些请求参数
响应:

1 状态行 :协议 状态码

2 响应头 :放一些客户端要使用的一些附加信息

{响应头中爬虫比较重要的内容:

1.cookie:本地字符串数据信息(用户登录信息,反爬的token)

2.各种诡异的字符串跟token类似防止各种攻击与反爬)

3:服务器返回的真正客户端需要的内容

相关推荐
泡泡以安17 小时前
安卓高版本HTTPS抓包:终极解决方案
爬虫·https·安卓逆向·安卓抓包
q5673152318 小时前
Java Selenium反爬虫技术方案
java·爬虫·selenium
巴里巴气1 天前
Python爬虫用Clash软件设置代理IP
爬虫·python·tcp/ip
우리帅杰11 天前
爬虫002-----urllib标准库
爬虫
RacheV+TNY26427811 天前
拼多多API限流机制破解:分布式IP池搭建与流量伪装方案
大数据·网络·人工智能·爬虫·python
我怎么又饿了呀11 天前
DataWhale-零基础络网爬虫技术(三、爬虫进阶技术)
爬虫·datawhale
network爬虫11 天前
Python异步爬虫编程技巧:从入门到高级实战指南
开发语言·爬虫·python
电商API_1800790524711 天前
实现自动胡批量抓取唯品会商品详情数据的途径分享(官方API、网页爬虫)
java·前端·爬虫·数据挖掘·网络爬虫
lynn-6611 天前
java爬虫 -jsoup的简用法
java·开发语言·爬虫
伍哥的传说11 天前
Node.js爬虫 CheerioJS ‌轻量级解析、操作和渲染HTML及XML文档
爬虫·node.js·html