文章目录
- 参考
- 一、网络模型有哪几层
- DMA
- [NAPI 机制](#NAPI 机制)
- 二、键入网址到网页显示,期间发生了什么?
-
- [1. HTTP](#1. HTTP)
- [2. DNS](#2. DNS)
- [3. 协议栈](#3. 协议栈)
- [4. TCP](#4. TCP)
- [5. IP](#5. IP)
- [6. MAC](#6. MAC)
- [7. 网卡](#7. 网卡)
- [8. 交换机](#8. 交换机)
- [9. 路由器](#9. 路由器)
- [10. 服务器 与 客户端的互相扒皮(添加、删除头部信息)](#10. 服务器 与 客户端的互相扒皮(添加、删除头部信息))
- 参考图
-
- [HTTP 请求报文结构:](#HTTP 请求报文结构:)
- [HTTP 响应报文结构:](#HTTP 响应报文结构:)
参考
一、网络模型有哪几层
-
OSI 七层结构 VS TCP/IP四层结构
-
OSI 参考模型:
-
应用层,负责给应用程序提供统一的接口;
-
表示层,负责把数据转换成兼容另一个系统能识别的格式;
-
会话层,负责建立、管理和终止表示层实体之间的通信会话;
-
传输层,负责端到端的数据传输;
-
网络层,负责数据的路由、转发、分片;
-
数据链路层,负责数据的封帧和差错检测,以及 MAC 寻址;
-
物理层,负责在物理网络中传输数据帧;
-
-
TCP/IP 模型
-
应用层,负责向用户提供一组应用程序,比如 HTTP、DNS、FTP 等;
-
传输层,负责端到端的通信,比如 TCP、UDP 等;
-
网络层,负责网络包的封装、分片、路由、转发,比如 IP、ICMP 等;
-
网络接口层,负责网络包在物理网络中的传输,比如网络包的封帧、 MAC 寻址、差错检测,以及通过网卡传输网络帧等;
-
-
由于 OSI 模型实在太复杂,提出的也只是概念理论上的分层,并没有提供具体的实现方案。事实上,我们比较常见,也比较实用的是四层模型,即 TCP/IP 网络模型,Linux 系统正是按照这套网络模型来实现网络协议栈的。
-
-
TCP/IP 四层结构:
-
每一层的封装格式:
-
应用层只需要专注于为用户提供应用功能,比如 HTTP、FTP、Telnet、DNS、SMTP等
-
应用层是工作在操作系统中的用户态,传输层及以下则工作在内核态
-
端口:设备作为接收方时,传输层则要负责把数据包传给应用,但是一台设备上可能会有很多应用在接收或者传输数据,因此需要用一个编号将应用区分开来,这个编号就是端口。
-
我们不希望传输层协议处理太多的事情,只需要服务好应用即可,让其作为应用间数据传输的媒介,帮助实现应用到应用的通信,而实际的传输功能就交给下一层,也就是网络层 (Internet Layer)。
-
网络层负责将数据从一个设备传输到另一个设备,世界上那么多设备,又该如何找到对方呢?因此,网络层需要有区分设备的编号,这个编号就是 IP 地址。
-
IP 协议的作用:
-
寻址
-
路由。路由表来确定数据包从源主机到目标主机的传输路径
-
-
IP 地址 = 网络号 + 主机号,配合子网掩码计算。
-
子网掩码的格式又叫 CIDR 格式。CIDR格式中的网络前缀长度指定了网络地址中网络部分的长度,它决定了网络中可用的IP地址数量。较小的前缀长度表示更大的网络,而较大的前缀长度表示更小的网络。如
192.0.2.0/24
:表示一个拥有256个IP地址的网络,其中包括192.0.2.0
到192.0.2.255
之间的所有地址。 -
网络接口层主要为网络层提供「链路级别」传输的服务,负责在以太网、WiFi 这样的底层网络上发送原始数据包,工作在网卡这个层次,使用 MAC 地址来标识网络上的设备。
-
网络接口层的传输单位是帧(frame),IP 层的传输单位是包(packet),TCP 层的传输单位是段(segment),HTTP 的传输单位则是消息或报文(message)。但这些名词并没有什么本质的区分,可以统称为数据包。
-
Linux 网络协议栈:
-
应用程序需要通过系统调用,来跟 Socket 层进行数据交互;
-
Socket 层的下面就是传输层、网络层和网络接口层;
-
最下面的一层,则是网卡驱动程序和硬件网卡设备
-
DMA
DMA(Direct Memory Access,直接内存访问)是一种计算机技术,用于提高数据传输速度和系统性能。DMA 允许外部设备(如硬盘驱动器、网络适配器等)直接访问计算机内存,而无需经过中央处理器(CPU)的直接参与。
优点:
- 提高性能:由于 DMA 控制器可以在不影响 CPU 的情况下执行数据传输,因此可以显著提高系统的性能和效率。
- 减少 CPU 开销:DMA 可以减少 CPU 处理数据传输的负担,使 CPU 可以更多地专注于执行其他任务。
- 降低能耗:减少了 CPU 参与数据传输的次数,从而降低了系统的能耗。
- 支持大数据传输:DMA 可以支持大容量数据的快速传输,例如大文件的读写、网络数据的传输等。
然而,DMA 也存在一些潜在的安全风险,因为外部设备可以直接访问内存,可能会导致数据泄露或者安全漏洞。因此,在设计系统时需要考虑安全性,并采取适当的措施来保护系统的数据安全。
NAPI 机制
为了解决频繁中断带来的性能开销,Linux 内核在 2.6 版本中引入了 NAPI 机制 ,它是混合「中断和轮询」的方式来接收网络包,它的核心概念就是不采用中断的方式读取数据 ,而是首先采用中断唤醒数据接收的服务程序,然后
poll
的方法来轮询数据。NAPI的工作原理如下:
轮询模式(Polling Mode):NAPI机制允许网络设备在非高负载情况下使用中断模式进行数据包处理,而不是持续地轮询网络接口。这可以减少CPU的轮询负载,提高系统的整体性能。
中断抑制(Interrupt Coalescing):在高负载情况下,NAPI会暂时关闭中断,并切换到轮询模式。这样可以减少中断处理的频率,降低系统的负载。
数据包处理延迟:由于NAPI机制可以在非高负载情况下使用中断模式,因此可能会引入一定的数据包处理延迟。但是,这种延迟可以通过调整NAPI的参数来平衡系统的性能和响应时间。
二、键入网址到网页显示,期间发生了什么?
1. HTTP
解析 URL (协议、服务器主机地址、所请求的数据路径、可能得参数),生成发送给 Web 服务器的请求消息
2. DNS
域名解析------查询服务器域名对应的 IP 地址
3. 协议栈
通过 DNS 获取到 IP 后,把 HTTP 的传输工作交给操作系统中的协议栈,作为行动指南。
4. TCP
HTTP 是基于 TCP 协议传输的,三次握手建立连接,数据包大于MTU则分段,生成网络包
5. IP
TCP 模块在执行连接、收发、断开等各阶段操作时,都需要委托 IP 模块将数据封装成网络包发送给通信对象。
6. MAC
生成 IP 头部后,发送方需要在数据包前添加MAC头部(含源设备和目标设备的MAC地址),数据包就能够通过数据链路层正确地发送到目标设备
-
如果目标主机不是本地局域网,填入的MAC地址是路由器,也就是把数据包转发给路由器,路由器一直转发下一个路由器,直到转发到目标主机的路由器,
-
如果发现 IP 地址是自己局域网内的主机,就会 arp 请求获取目标主机的 MAC 地址,从而转发到这个服务器主机。
转发的过程中,源IP地址和目标IP地址是不会变的(前提:没有使用 NAT 网络的),源 MAC 地址和目标 MAC 地址是会变化的。
7. 网卡
网卡驱动程序控制网卡,网卡会将网络包(存放在内存中的一串二进制数字信号)转为电信号(模拟信号),通过网线发送到交换机
网卡还会附加一些必要的控制信息,如源MAC地址(表示发送方的网卡)和目标MAC地址(表示接收方的网卡)。
8. 交换机
数据包到达交换机,交换机读取数据包中的目标 MAC 地址;
交换机根据数据包中的目标MAC地址查找MAC地址表(MAC地址--端口),以确定目标设备所连接的端口,然后将信号发送到相应的端口,从而将数据包发送到目标设备的网卡。
9. 路由器
通过路由器的转发,数据包可以在不同的网络之间进行传输,实现了跨网络的通信
-
查询路由表确定输出端口
-
知道对方的 IP 地址之后,接下来需要通过
ARP
协议根据 IP 地址查询 MAC 地址,并将查询的结果作为接收方 MAC 地址。 -
发送出去的网络包会通过交换机到达下一个路由器。
在网络包传输的过程中,源 IP 和目标 IP 始终是不会变的,一直变化的是 MAC 地址 ,因为需要 MAC 地址在以太网内进行两个设备之间的包传输。
10. 服务器 与 客户端的互相扒皮(添加、删除头部信息)
目的MAC地址、IP地址、TCP序列号、端口号的检验,若符合且正在监听此端口,则发送给 HTTP 进程,进行后续处理。
服务器发送 HTTP 响应报文,与上述过程类似;
客户端没有后续请求,发起 TCP 四次挥手,断开双方连接。
参考图
HTTP 报文:
HTTP(Hypertext Transfer Protocol)是用于在网络上传输超文本(如网页)的应用层协议。HTTP协议定义了客户端和服务器之间的通信方式,它是无状态 的,即每个请求都是独立的,服务器不会保留任何与之前请求相关的信息。
HTTP报文是客户端和服务器之间交换的数据块,它分为请求报文和响应报文两种类型。
HTTP 请求报文结构:
- 请求行:包含了请求方法、请求的资源路径以及HTTP协议版本。例如:
httpGET /index.html HTTP/1.1
- 请求头部 :包含了请求的一些附加信息,如
Host
、User-Agent
、Content-Type
等。每个请求头部都是以一个键值对的形式表示。例如:
httpHost: www.example.com User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36
空行:请求行和请求头部之后是一个空行,用来表示请求头部的结束。
请求体(可选):对于一些请求,如 POST 请求,会包含请求体,其中包含了客户端发送给服务器的数据。例如:
httpkey1=value1&key2=value2
HTTP 响应报文结构:
- 状态行:包含了响应的HTTP协议版本、状态码以及状态消息。例如:
httpHTTP/1.1 200 OK
- 响应头部 :与请求头部类似,包含了响应的一些附加信息,如
Content-Type
、Content-Length
等。例如:
httpContent-Type: text/html; charset=utf-8 Content-Length: 1234
空行:响应头部和响应体之间是一个空行。
响应体(可选):包含了服务器发送给客户端的实际数据,比如网页的HTML内容、图片、文件等。
DNS 域名解析过程(先查缓存、hosts文件,再...):
协议栈(上面的部分会向下面的部分委托工作,下面的部分收到委托的工作并执行):
TCP 报文头部的格式:
或:
TCP 传输数据之前,要先三次握手建立连接(保证双方都有发送和接收的能力):
TCP 分割数据:
MTU VS MSS:
-
MTU(Maximum Transmission Unit)是指网络通信中可以在单个数据包中传输的最大数据量。它是以字节为单位来衡量的,代表了网络中数据链路层(如以太网)能够传输的最大数据包大小。
-
MSS(Maximum Segment Size)是 TCP 协议中的一个参数,指示在 TCP 通信中单个 TCP 分段(Segment)的最大数据量。它通常是 MTU 减去 IP 头和 TCP 头的长度。
IP 报文头部的格式:
或:
路由表查询、路由
MAC 头部是以太网使用的头部,它包含了接收方和发送方的 MAC 地址等信息:
ARP 协议寻找路由器的 MAC 地址:
查看 ARP 缓存:
MAC 报文:
网络包(网卡驱动获取网络包之后,会将其复制 到网卡内的缓存区中,接着会在其开头加上报头和起始帧分界符,在末尾加上用于检测错误的帧校验序列。):
交换机的 MAC 地址表:
查询路由表判断转发目标:
互相扒皮 ------ 服务器 与 客户端: