02.爬虫---HTTP基本原理

- [1.URI 和 URL 的区别](#1.URI 和 URL 的区别)
- [2.HTTP 和 HTTPS 的区别](#2.HTTP 和 HTTPS 的区别)
- 3.请求过程

URL（Uniform Resource Locator）即-统一资源定位符

URL是用来定位和访问互联网上资源的独特标识，它包括了资源的位置（如IP地址或域名）、端口号（可选）、路径（资源在服务器上的位置）、查询（用于传递参数）和片段（用于指定资源中的特定部分）。例如 http://www.example.com/index.html 是一个指向网站首页的URL。
URI（Uniform Resource Identifier）即-统一资源标志符

URI是一个更广泛的术语，它用来唯一地标识一个资源，而不涉及如何定位该资源。URI可以分为URL和URN两种。URL是URI的一种形式，它提供了定位资源的方法，而URN则是用特定命名空间的名字来标识资源，不包含位置信息。
URN（Uniform Resource Name）即-统一资源名称

URN是URI的一种形式，它通过一个全局唯一的名称来标识资源，这个名称在某个命名空间中是唯一的。URN的目的是提供一种方式，使得即便资源的位置发生变化，依然可以对资源进行标识。例如，urn:isbn:0-395-36341-1 是莎士比亚戏剧《罗密欧与朱丽叶》的ISBN号，这是一个典型的URN示例。

URL ：提供了资源的位置和访问方式，是URI的子集，易于人类理解和机器解析。
URI ：更通用的资源标识符，可以是URL或URN，用于标识资源，但不提供定位信息。
URN：侧重于通过名称来标识资源，与资源的位置无关，常用于命名空间中标识唯一资源。

关系图:URI = URL+URN

HTTP（超文本传输协议）英文(Hyper Text Transfer Protocol)

HTTPS（超文本传输安全协议）英文(Hypertext Transfer Protocol Secure)

打开电脑浏览器，访问百度 http://www.baidu.com/，这时候鼠标右键并选择 "检查" 菜单（或直接按快捷键 F12），即可打开浏览器的开发者工具，如下图所示：

其中各列的含义如下:

随便点击一个条目，即可看到其更详细的信息，我们看一下比较常用的如图所示

通用头 (General)

Request URL: 请求的网址
Request Method: 请求方法(GET,HEAD,POST,PUT,DELETE,CONNECT,OPTIONS,TRACE)
Status Code : 请求状态(2xx,3xx,4xx,5xx) 点击参考 HTTP响应状态码一览表
Remote Address:HTTP请求的远程地址，即HTTP请求的源地址
Referrer Policy:Referer提供访问来源的信息，告诉服务器，用户在访问当前资源之前的位置，发生传场景包含：加载图片、样式文件、JS文件、请求。浏览器会将当前网址作为Referer字段，放在 HTTP 请求的头信息发送

请求头（Request Headers）

响应头（Response Headers）

Accept:请求报头域，用于指定客户端可接受哪些类型的信息
Accept-Encoding:指定客户端可接受的内容编码
Accept-Language:指定客户端可接受的语言类型
Connection:是否开启长链接。close为不长连接，keep-alive保持长连接
Cookie:维持当前访问会话
Host:用于指定请求资源的主机 IP 和端口号，其内容为请求 URL 的原始服务器或网关的位置。从 HTTP 1.1 版本开始，请求必须包含此内容
Referer:是HTTP请求header的报文头，用于指明当前流量的来源参考页面。通过这个信息，我们可以知道访客是怎么来到当前页面的
Sec-Ch-Ua:可以理解用来替代user-agent的，用sec-ch-ua可以防止泄露浏览器详细信息
Sec-Ch-Ua-Mobile:是否是移动端用户
Sec-Ch-Ua-Platform:表示操作系统名称
Sec-Fetch-Dest:表示请求的目的地，即如何使用获取的数据
Sec-Fetch-Mode:该请求头表明了一个请求的模式
Sec-Fetch-Site:请求发起者的来源与目标资源来源之间的关系
User-Agent:简称 UA，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息，可以伪装为浏览器；如果不加，很可能会被识别为爬虫