Linux网络之传输层协议tcp/udp

1.一个进程是否可以bind多个端口号？

可以，因为一个进程可以打开多个文件描述符，而每个文件描述符都对应一个端口号，因此一个进程可以绑定多个端口号

2.一个端口号是否可以被多个进程Bind？

不可以，如果一个进程先绑定一个端口号，然后fork一个子进程，这样就实现了多个进程绑定一个端口号，但是不同的进程绑定同一个端口号是不可以的。

3.netstat，pidof

语法：netstat [选项]

功能：查看网络状态常用选项： n 拒绝显示别名，能显示数字的全部转化成数字

l 仅列出有在 Listen (监听) 的服務状态

p 显示建立相关链接的程序名

t (tcp)仅显示tcp相关选项

u (udp)仅显示udp相关选项

a (all)显示所有选项，默认不显示LISTEN相关

pidof 在查看服务器的进程id时非常方便.

语法：pidof [进程名]

功能：通过进程名, 查看进程id

二、UDP协议

1.udp协议格式

|----------|-----------|
| 16位源端口号 | 16位目的端口号 |
| 16位udp长度 | 16位udp检验和 |
| 数据 ||

16位Udp长度，表示整个数据包（udp首部+udp数据）的最大长度
如果校验和出错，就会直接丢弃

2.udp特点

udp的传输过程类似于寄信

无连接：知道对端的ip和端口号就可以直接进行传输，不需要建立连接
不可靠：没有确认机制，没有重传机制，如果因为网络故障该段无法发送到对方，udp协议也不会给应用层返回任何错误信息
面向数据报：不能够灵活的控制读写数据的次数和数量

面向数据报

应用层交给udp多长的报文，udp原样发送，不会拆分合并

用udp传输100个字节的数据：

如果发送端调用一次sendto，发送100个字节，那么接收端也必须调用一次recvfrom接收100个字节，而不能循环调用10次recvfrom，每次接收10个字节

udp缓冲区

udp没有真正意义上的缓冲区，调用sendto会直接交给内核，由内核将数据传送网络层协议后续的传输动作

udp具有接收缓冲区，但是这个接收缓冲区不能保证udp报的顺序和发送udp报的顺序一致；如果缓冲区满了，再到达的udp数据就会被丢弃

udp的socket能读也能写，是全双工的。

udp的使用事项

udp协议首部中有一个16位最大长度，也就是说udp能传送的数据最大长度是64K(包括报头），如果我们要使用udp传输超过64K就需要在应用层进行手动分包，多次发送，并且在接收端手动拼接

3.基于udp的应用层协议

NFS:网络文件系统
TFTP:简单文件传输协议
DHCP：动态主机配置协议
BOOTP：启动协议（用于无盘设备启动）
DNS：域名解析协议

三、TCP协议

TCP协议全称为"传输控制协议"，要对数据的传输进行一个详细的控制

1.tcp报头

|--------|--------|-----|-----|-----|-----|-----|-----|----------|
| 16位源端口号 |||||||| 16位目的端口号 |
| 32位序号 |||||||||
| 32位确认序号 |||||||||
| 4位首部长度 | 保留（6位） | urg | ack | psh | rst | syn | fin | 16位窗口大小 |
| 16位检验和 |||||||| 16位紧急指针 |
| 选项 |||||||||
| 数据 |||||||||

源/目的端口：表示数据从哪个进程来，到哪个进程去

32位序号/32位确认号

4位TCP报头长度：表示该TCP头部有多少个32位bit(有多少个4字节），所以tcp头部最大长度是15*4 = 60

6个标志位：

URG：紧急指针是否有效

ACK:确认号是否有效

PSH:提示接收端应用程序立刻从TCP缓冲区把数据读走

RST：对方要求重新建立连接，携带RST标志的称为复位报文段

SYN:请求建立连接：将携带SYN标识的称为同步报文段

FIN:通知对方，本端要关闭了，携带FIN标识的为结束报文段

16位窗口大小

16位校验和：发送端填充，CRC校验，接收端校验不通过，则认为数据有问题，此处的检验不光包含头部，也包含数据部分

16位紧急指针：标识哪部分数据是紧急数据

40字节头部选项

确认应答机制（ACK)

主机A向主机B发送数据，第一次发送序号（1-1000），主机B向主机A发送一个确认应答1000，表示已经收到了，下一个你要向我发的数据是1001，主机A下次就从1001号发送数据

tcp将每个字节的数据都进行了编号，即为序列号，每一个ACK都带有一个对应的确认序列号，意思告诉发送者，我已经收到了那些数据，下一次你从哪里开始发

超时重传机制

主机A发送给主机B之后，可能因为网络拥塞等原因，数据无法到达主机B，如果主机A在特定的时间间隔之内没有收到主机B发送的确认应答，就会进行重发
但是主机A未能收到主机B的确认应答，也可能是ACK丢失了，因此主机B会收到很多重复数据，那么TCP协议需要能够识别出哪些包是重复的，并把重复的丢掉，这个时候就可以用序列号来进行去重
关于超时的时间，不能太短也不能太长，太短会频繁发送重复的包，太长会影响整体的传送效率。因此tcp在任何情况下，要保证比较高性能的通信，会动态计算这个最大超时时间。linux中，超时以500ms作为一个单位，每次判断超时重发的时间都是500ms的整数倍；如果重发一次后，仍然不能得到应答，等2*500ms再次重传；如果仍然不能等到，等4*500ms进行重传，以此类推，以指数形式递增，累计到一定的重传次数，tcp认为网络或者对端主机出现异常，强制关闭链接。

连接管理机制（三次握手四次挥手）

在正常情况下，tcp要经过三次握手建立连接，四次挥手断开连接

1）三次握手

服务端：

closed->listen 服务器调用listen后进入LISTEN状态，等待客户端连接
LISTEN->SYN_RCVD 一旦监听到连接请求（同步报文段），就将该连接放入内核等待队列中，并向客户端发起SYN确认报文
syn_rcvd->established 服务端一旦收到客户端的确认报文，就进入到estalished状态，可以进行读写数据了

客户端

closed->syn_sent：客户端调用connect，发送同步报文段
syn_sent->esatablished：conncet调用成功，进入established状态，开始读写数据

2）四次挥手

服务端：

established->close_wait：当客户端主动关闭连接（调用close),服务器会收到结束报文，服务器返回确认报文并进入close_wait
close_wait->last_ack：进入close_wait后说明服务器准备关闭连接（需要处理完之前的数据）；当服务器真正调用close关闭连接时，会向客户端发送fin，此时服务器进入last_ack状态，等待最后一个ack到来（这个ack是客户端确认收到了fin)
last_ack->closed：服务器收到了对端fin的ack，彻底关闭连接

客户端

establised->fin_wait_1：客户端主动调用close,向服务器发送结束报文段
fin_wait_1->fin_wait_2:客户端收到服务器对结束报文的确认，进入FIN_WAIT_2
fin_wait_2->time_wait:客户端收到服务器发来的结束报文，进入time_wait，并发出last_ack
time_wait->closed:客户端要等待2msl(max segment life,报文最大生存时间），才会进入closed

理解TIME_WAIT状态

可以做一个实验进行测试，首先启动server，然后启动client，然后用crtl-c让server中指，这是再运行server,会发现无法起来，并且出现： bind error :address already in use。

这是因为，sever的应用虽然终止，但是tcp协议连接没有完全断开，因此不能再次监听同样的server端口。

tcp协议规定，主动关闭连接的一方要处于time_wait状态，等待2个msl时间后才能进入closed

上述实验中，server主动关闭，在time_wait期间仍然不能再次监听同样的server端口

msl在rfc1122中规定为2分钟，但是各个os上会有不同，在centos7上默认为60s

可以通过 cat /proc/sys/net/ipv4/tcp_fin_timeout查看msl的值

msl是tcp报文的最大生存时间，因此time_wait持续存在2msl的话，就能保证在两个传输方向是尚未被接收或迟到的报文段都已经消失（否则服务器立刻重启，可能会收到来自上一个进程迟到的数据，但是这个数据很可能是错误的），同时也保证了最后一个报文可靠到达，假设最后一个ack丢失，那么服务器会重发一个fin,这时客户端的进程虽然不在了，但是tcp连接还在，仍然可以重发last_ack

解决TIME_WAIT状态引起Bind失败的方法

在server的TCP连接没有完全断开之前不允许重新监听, 某些情况下可能是不合理的

服务器需要处理非常大量的客户端的连接(每个连接的生存时间可能很短, 但是每秒都有很大数量的客户端来请求). 这个时候如果由服务器端主动关闭连接(比如某些客户端不活跃, 就需要被服务器端主动清理掉), 就会产生大量TIME_WAIT连接.

由于我们的请求量很大, 就可能导致TIME_WAIT的连接数很多, 每个连接都会占用一个通信五元组(源ip, 源端口, 目的ip, 目的端口, 协议). 其中服务器的ip和端口和协议是固定的. 如果新来的客户端连接的ip和端口号和TIME_WAIT占用的链接重复了 , 就会出现问题.

使用setsockopt()设置socket描述符的选项SO_REUSEADDR为1, 表示允许创建端口号相同但IP地址不同的多个 socket描述符

理解CLOSE_WAIT状态

将s中的close代码进行注释掉，运行c和s，关闭掉client，观察tcp状态会出现服务器进入到close_wait状态，对于服务器上出现大量的 CLOSE_WAIT 状态, 原因就是服务器没有正确的关闭 socket, 导致四次挥手没有正确完成. 这是一个 BUG. 只需要加上对应的 close 即可解决问题。

滑动窗口

确认应答策略, 对每一个发送的数据段, 都要给一个ACK确认应答. 收到ACK后再发送下一个数据段. 这样做有一个比较大的缺点, 就是性能较差. 尤其是数据往返的时间较长的时候。

既然这样一发一收的方式性能较低, 那么我们一次发送多条数据, 就可以大大的提高性能(其实是将多个段的等待时间重叠在一起了)。

比如现在要发送1-9000的数据，设置滑动窗口大小为4000，刚开始发送发送1-4000，同时发送，即（1-1000,1001-2000,2001-3000,3001-4000），发送后收到应答1001,2001,3001,4001.....

窗口大小指的是无需等待确认应答而可以继续发送数据的最大值，上述窗口大小就是4000个字节（4个段），发送的时候不需要等待任何ack，直接发送

收到第一个ack后，窗口向后滑动，继续发送第五个段的数据....

os内核为了维护这个滑动窗口，需要开辟发送缓冲区来记录当前还有哪些数据没有应答，只有确认应答过的数据，才能从缓冲区中删掉

窗口越大，网络的吞吐率就越高。

如果出现丢包，如何进行重传？这里分两种情况讨论

1）数据包已经抵达，ack丢失

这种情况下，部分ack丢失并不要紧，因为可以通过后续的ack进行确认

2）数据包直接丢失

当某一段报文丢失之后，发送端会一直收到1001这样的ack，就像是提醒发送端，我要的是1001

如果发送端主机连续3次收到同样的1001，这样的应答，就会从1001-2000重新发送

这个时候接收端收到1001之后，再次返回ack就是7001，因为2001-7000接收端已经收到，被放在os的接收缓冲区中

这种机制被称为"高速重发控制"（也叫快重传）

流量控制

接收端处理数据的速度是有限的，如果发送端发送太快，导致接收端的缓冲区被打满，这个时候如果发送端继续发送，就会造成丢包，继而引起丢包重传等一系列连锁反应。

因此tcp支持根据接收端的处理能力，来决定发送端的发送速度，这个机制称为流量控制

接收端将自己可以接收的缓冲区大小放入tcp首部中的"窗口大小"字段，通过ack通知发送端
窗口大小字段越小，说明网络的吞吐量越高
接收端一旦发现自己的缓冲区快满了，就会将窗口大小设置称一个更小的值通知给发送端
发送端接受到这个窗口之后，就会减慢自己的发送速度
如果接收端缓冲区满了，就会将窗口设置为0，这时发送方不再发送数据，但是需要定期发送一个窗口探测数据段，使接收端把窗口大小告诉发送端

接收端如何把窗口大小告诉发送端呢? 回忆我们的TCP首部中, 有一个16位窗口字段, 就是存放了窗口大小信息;

那么问题来了, 16位数字最大表示65535, 那么TCP窗口最大就是65535字节么? 实际上, TCP首部40字节选项中还包含了一个窗口扩大因子M, 实际窗口大小是窗口字段的值左移 M 位

拥塞控制

虽然tcp有了滑动窗口，能够高效可靠的发送大量数据，但是如果在刚启动就发送大量数据，仍然可能引发问题

因为网络上有很多计算机，可能当前网络状态就比较拥堵，在不清楚当前网络状态下，贸然发送大量数据，很有可能雪上加霜。

tcp引入慢启动机制，先发少量的数据, 探探路, 摸清当前的网络拥堵状态, 再决定按照多大的速度传输数据

此处引入一个概念程为拥塞窗口发送开始的时候, 定义拥塞窗口大小为1;
每次收到一个ACK应答, 拥塞窗口加1;
每次发送数据包的时候, 将拥塞窗口和接收端主机反馈的窗口大小做比较, 取较小的值作为实际发送的窗口;
像上面这样的拥塞窗口增长速度, 是指数级别的. "慢启动" 只是指初使时慢, 但是增长速度非常快.
为了不增长的那么快, 因此不能使拥塞窗口单纯的加倍. 此处引入一个叫做慢启动的阈值当拥塞窗口超过这个阈值的时候, 不再按照指数方式增长, 而是按照线性方式增长
当TCP开始启动的时候, 慢启动阈值等于窗口最大值; 在每次超时重发的时候, 慢启动阈值会变成原来的一半, 同时拥塞窗口置回1;
少量的丢包, 我们仅仅是触发超时重传; 大量的丢包, 我们就认为网络拥塞; 当TCP通信开始后, 网络吞吐量会逐渐上升; 随着网络发生拥堵, 吞吐量会立刻下降; 拥塞控制, 归根结底是TCP协议想尽可能快的把数据传输给对方, 但是又要避免给网络造成太大压力的折中方案
TCP拥塞控制这样的过程, 就好像热恋的感觉

延迟应答

如果接收数据的主机立刻返回ACK应答, 这时候返回的窗口可能比较小。

假设接收端缓冲区为1M. 一次收到了500K的数据; 如果立刻应答, 返回的窗口就是500K;

但实际上可能处理端处理的速度很快, 10ms之内就把500K数据从缓冲区消费掉了; 在这种情况下, 接收端处理还远没有达到自己的极限, 即使窗口再放大一些, 也能处理过来; 如果接收端稍微等一会再应答, 比如等待200ms再应答, 那么这个时候返回的窗口大小就是1M;

一定要记得, 窗口越大, 网络吞吐量就越大, 传输效率就越高.

我们的目标是在保证网络不拥塞的情况下尽量提高传输效率;

那么所有的包都可以延迟应答么? 肯定也不是;

数量限制: 每隔N个包就应答一次;

时间限制: 超过最大延迟时间就应答一次;

具体的数量和超时时间, 依操作系统不同也有差异; 一般N取2, 超时时间取200ms;

捎带应答

在延迟应答的基础上, 我们发现, 很多情况下, 客户端服务器在应用层也是 "一发一收" 的. 意味着客户端给服务器说了 "How are you", 服务器也会给客户端回一个 "Fine, thank you"; 那么这个时候ACK就可以搭顺风车, 和服务器回应的 "Fine, thank you" 一起回给客户端

面向字节流

创建一个TCP的socket, 同时在内核中创建一个发送缓冲区和一个接收缓冲区;

调用write时, 数据会先写入发送缓冲区中; 如果发送的字节数太长, 会被拆分成多个TCP的数据包发出;

如果发送的字节数太短, 就会先在缓冲区里等待, 等到缓冲区长度差不多了, 或者其他合适的时机发送出去; 接收数据的时候, 数据也是从网卡驱动程序到达内核的接收缓冲区;

然后应用程序可以调用read从接收缓冲区拿数据;

另一方面, TCP的一个连接, 既有发送缓冲区, 也有接收缓冲区, 那么对于这一个连接, 既可以读数据, 也可以写数据. 这个概念叫做全双工

由于缓冲区的存在, TCP程序的读和写不需要一一匹配, 例如: 写100个字节数据时, 可以调用一次write写100个字节, 也可以调用100次write, 每次写一个字节; 读100个字节数据时, 也完全不需要考虑写的时候是怎么写的, 既可以一次read 100个字节, 也可以一次 read一个字节, 重复100次

粘包问题

首先，沾包问题中的"包"，是指的应用层的数据包

在tcp协议在，没有如同udp中"报文长度"这样的这样的字段，但是有一个序号这样的字段

在传输层的角度，tcp的一个一个报文传过来的，按照序号排好序放在缓冲区中

站在应用层的角度，看到的只是一串连续的字节数据

应用程序看到这样一连串的字节数据，不知道从哪里开始到哪里结束，是一个完整的应用层数据包

那么如何避免粘包问题 需要明确两个包之间的边界

对于定长的包, 保证每次都按固定大小读取即可; 例如上面的Request结构, 是固定大小的, 那么就从缓冲区从头开始按sizeof(Request)依次读取即可;
对于变长的包, 可以在包头的位置, 约定一个包总长度的字段, 从而就知道了包的结束位置;
对于变长的包, 还可以在包和包之间使用明确的分隔符(应用层协议, 是程序猿自己来定的, 只要保证分隔符不和正文冲突即可)

2.tcp小结

tcp这么复杂，因为要保证可靠性，同时又尽可能的提高性能

可靠性：

校验和
序列号
确认应答
超时重传
连接管理
流量控制
拥塞控制

提高性能：

滑动窗口
快速重传
延迟应答
捎带应答

3.基于tcp的应用层协议

http,https,ssh,telnet,ftp,smtp...

4.TCP/UDP对比

TCP用于可靠传输的情况, 应用于文件传输, 重要状态更新等场景;
UDP用于对高速传输和实时性要求较高的通信领域, 例如, 早期的QQ, 视频传输等. 另外UDP可以用于广播;

5.用udp实现可靠传输（高频面试题）

参考tcp的可靠性机制，在应用层实现类似的逻辑

例如：引入序列号，保证数据顺序引入确认应答，保证对端收到了数据

引入超时重传，如果隔一段时间没有应答，就重发数据

6.理解listen的第二个参数

Linux内核协议栈为一个tcp连接管理使用两个队列:

半链接队列（用来保存处于SYN_SENT和SYN_RECV状态的请求）
全连接队列（accpetd队列）（用来保存处于established状态，但是应用层没有调用accept取走的请求）

而全连接队列的长度会受到 listen 第二个参数的影响. 全连接队列满了的时候, 就无法继续让当前连接的状态进入 established 状态了. 这个队列的长度通过上述实验可知, 是 listen 的第二个参数 + 1