上一章我们基于UDP实现了几个网络程序,这一章我们开始使用TCP。
先简单复习一下TCP和UDP的特点:
- TCP特点
- 传输层协议
- 有连接
- 可靠传输
- 面向字节流
- UDP特点
- 传输层协议
- 无连接
- 不可靠传输
- 面向数据报
可以看到TCP是有链接的,而UDP是无连接的,有无连接体现在接口上面(listen,connect),话不多说,直接开始。
1.服务器的实现
1.1socket(创建套接字)
cpp
#include <sys/types.h>
#include <sys/socket.h>
int socket(int domain, int type, int protocol);
参数说明:
- domain:域,标识了这个套接字的通信类型(网络通信/本地通信),这个就是sockaddr结构体的前16个bit位。如果是本地通信就是AF_UNIX,如果是网络通信就是AF_INET。
- type:套接字提供的服务类型,常见的就是SOCK_STREAM和SOCK_DGRAM,如果我们是基于TCP协议的通信,就使用SOCK_STREAM,表示的是流式服务。如果我们是基于UDP协议通信的,就使用SOCK_DGRAM,表示的是数据包服务。
- protocol:创建套接字的类型(TCP/UDP),但是这个参数可以由前两个参数决定。所以通常设置为0
返回值:
成功会返回一个文件描述符,失败返回-1,错误码被设置
在系统的文件操作中,也会返回文件描述符,与socket返回的文件描述符不同的是,普通文件的文件缓冲区对应的是磁盘,而socket返回的文件描述符的文件缓冲区对应的是网卡。用户将数据写到缓冲区,由操作系统自动将缓冲区中的数据刷新到网卡中,网卡会负责将这个数据发送到对端主机上。
cpp
class TcpServer
{
public:
TcpServer(uint16_t &port, std::string ip = "")
{
// 创建套接字
_listensock = socket(AF_INET, SOCK_STREAM, 0);
if (_listensock < 0)
{
std::cout << "create socket error" << std::endl;
exit(1);
}
std::cout << "create socket success, socket: " << _listensock << std::endl;
}
~TcpServer()
{
close(_listensock);
}
private:
int _listensock;
};
调用socket函数,就能创建一个套接字了,第一个参数我们填AF_INET,表示的是我们是网络通信。第二个参数我们填SOCK_STREAM,表示我们是TCP服务(字节流)。由于一个进程启动时,默认会打开标准输入,标准输出,标准错误这三个文件描述符,而文件描述符的创建规则就是从0开始,向上找到第一个没有使用的,所以我们可以猜测以下_sock的值为3.
这一步和UDP非常类似,但是在socket的时候,第二个参数要更改成SOCK_STREAM表示我们要的是TCP服务。
1.2bind(绑定IP和Port)
我们创建完套接字以后,也只是打开了一个文件。还没有将这个文件和网络关联起来,所以我们需要使用bind函数,将IP+port和文件绑定
cpp
#include <sys/types.h>
#include <sys/socket.h>
int bind(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
参数介绍:
- sockfd:socket函数的返回值。
- addr:通用结构体,包括协议家族,IP地址,端口号port
- addrlen:addr的长度
返回值介绍:
成功返回0,错误返回-1
sockaddr_in结构体
cpp
struct sockaddr_in
{
short int sin_family;
in_port_t sin_port;
struct in_addr sin_addr;
unsigned char sin_zero[8];
};
- sin_family:协议家族,表示通信类型(AF_INET网络通信,PF_INET本地通信)
- sin_port:端口号(网络字节序)
- sin_addr:IP地址。
- sin_zero:填充字段,让sizeof(sockaddr_in) = 16
既然第二步需要添加IP和端口号,所以我们要对代码修改一下,给构造函数添加port和str(IP的点分十进制表示形式)
cpp
class TcpServer
{
public:
TcpServer(uint16_t &port, std::string ip = "")
{
// 创建套接字
_listensock = socket(AF_INET, SOCK_STREAM, 0);
if (_listensock < 0)
{
std::cout << "create socket error" << std::endl;
exit(1);
}
std::cout << "create socket success, socket: " << _listensock << std::endl;
// 绑定IP和端口
struct sockaddr_in addr;
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
addr.sin_addr.s_addr = ip.empty() ? INADDR_ANY : inet_addr(ip.c_str());
if (bind(_listensock, (sockaddr *)&addr, sizeof(addr)) < 0)
{
std::cout << "bind error" << std::endl;
exit(2);
}
std::cout << "bind success" << std::endl;
}
~TcpServer()
{
close(_listensock);
}
private:
int _listensock;
};
需要注意的是在填写sockaddr_in的参数的时候,
- sin_family需要和socket套接字创建时的domain相同。
- 由于端口号和IP将来是要发送到网络的,而网络数据流统一采用大端的形式,所以为了代码的可移植性,我们不管自己是大端还是小端,统一调用函数hton转化成大端。
- 对于IP来说,如果直接发送的是点分十进制形式如(192.168.12.80)的形式,则需要占用过多的字节数,对网络传输无疑是一种很大的消耗,所以我们采用一个32位的整数来表示IP,在网络传输中,要将点分十进制的IP转化成整数,再进行传输。
前两步和UDP基本上一样,不过UDP做完这两步之后就可以开始接受用户的信息了,因为UDP是无连接的。但是TCP还需要一个监听的动作(监听客户端发来的连接请求)。
我们需要把socket套接字设置为监听状态,获取客户端发来的连接请求。例如:假设有这样一个手机,默认的工作模式就是拦截所有的电话,用户无法知道,但是用户可以更改工作模式为监听模式,不再拦截电话,只要有人给我打电话我就知道。这种监听模式就是类似于listen函数的功能。
1.3listen(设置监听状态)
cpp
#include <sys/types.h>
#include <sys/socket.h>
int listen(int sockfd, int backlog);
参数说明:
- sockfd:要设置为监听状态的文件描述符
- backlog:等待队列的最大长度。如果有多个客户端同时发来连接请求,此时未被服务器处理的连接就会放入连接队列。它并不限制可以建立的总连接数,而是限制了在任何给定时间等待接受的连接数。一旦一个连接被接受,它就从队列中移除,并为新的连接请求腾出空间。一般不要设置太大,设置为5或10即可。
重要的是要注意,listen
函数本身并不接受任何连接。它只是将套接字设置为监听模式,并设置等待队列的大小。实际的连接接受是通过 accept
函数来完成的。
1.4accept(接受新连接)
前面的工作都做完了,我们就可以使用accept来接受新连接了。
cpp
#include <sys/types.h>
#include <sys/socket.h>
int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen);
参数介绍:
- sockfd:表示从该监听套接字中获取新连接
- addr:通用结构体,包括协议家族,IP地址,端口号port
- addrlen:输出型参数,调用时传入期望读取的addr结构体的长度,返回时代表实际读取到的addr结构体的长度。
返回值:
成功返回一个文件描述符,失败返回-1
accept返回的文件描述符
先举个例子:当我们去吃饭时,门口会有个服务员张三正在揽客,当他找到客人就把客人交给了新的服务员李四/王五/赵六,负责后续为我们点菜,上菜等服务。在这个例子中,张三的职责就是将客人招到店内就可以,店内的服务他不参与。而李四/王五/赵六才是为我们真正提供服务的员工。
而我们之前所说的使用socket返回的文件描述符就是张三,他的任务就是接收到新连接就可以了。真正提供服务的其实是accept返回的文件描述符。
最后别忘了关闭文件描述符,如果不关会导致可用的文件描述符越来越少。
cpp
void Start()
{
while (true)
{
struct sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
memset(&addr, 0, sizeof(addr));
int serverSocket = accept(_listensock, (sockaddr *)&addr, &addrlen);
//业务逻辑
close(serverSocket);
}
}
1.5recvfrom(获取消息)
cpp
#include <sys/types.h>
#include <sys/socket.h>
ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags,
struct sockaddr *src_addr, socklen_t *addrlen);
参数介绍:
- sockfd:从哪个套接字中读取
- buf:读到的数据存放的缓冲区
- len:读len个字节
- flags:读取方式,0表示阻塞读取
- src_addr:发送端的信息
- addrlen:输出型参数,表示src_addr的长度(必须初始化为sizeof(src_addr))
返回值说明:
- 返回值>0:读取成功
- 返回值=0:对端关闭连接了
- 返回值<0:读取失败
由于recvfrom的参数较多,使用比较麻烦,所以我们可以对recvfrom简单封装成一个函数。
cpp
int Recvfrom(int sockfd, std::string& buffer)
{
char temp[1024];
sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
int n = recvfrom(sockfd, temp, sizeof(temp) - 1, 0, (sockaddr *)&addr, &addrlen);
if (n > 0)
{
temp[n] = 0;
buffer = temp;
}
else if (n == 0)
{
std::cout << "you close the connect, me too" << std::endl;
}
else
{
std::cout << "recvfrom error" << std::endl;
}
return n;
}
你只需要告诉recvfrom从哪个文件描述符当中读,并且给他一个buffer用于保存读取的消息。
1.6sendto(发送消息)
cpp
#include <sys/types.h>
#include <sys/socket.h>
ssize_t sendto(int sockfd, const void *buf, size_t len, int flags,
const struct sockaddr *dest_addr, socklen_t addrlen);
参数介绍:
- sockfd:从哪个套接字中读取
- buf:将缓冲区中的数据发给对端
- len:要发送多少个字节
- flags:写入方式,0表示阻塞写入
- src_addr:对端主机的信息(包括协议家族,IP,port)
- addrlen:表示src_addr的长度
参数和recvfrom类似。
cpp
while (true)
{
std::string buffer;
std::cout << "Please enter# " << std::endl;
getline(std::cin, buffer);
sendto(sockfd, buffer.c_str(), buffer.size(), 0, (sockaddr *)&addr, addrlen);
}
当我们接受到了客户端发来的消息后,就可以将这个消息经过处理后,还给客户端。
1.7服务端源码
到这里一个简单的服务器就可以正常启动了。
cpp
#include <iostream>
#include <cstring>
#include <unistd.h>
#include <functional>
#include <unordered_map>
#include <signal.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/wait.h>
#include <pthread.h>
class TcpServer
{
const int backlog = 10;
public:
TcpServer(uint16_t &port, std::string ip = "")
{
// 创建套接字
_listensock = socket(AF_INET, SOCK_STREAM, 0);
if (_listensock < 0)
{
std::cout << "create socket error" << std::endl;
exit(1);
}
std::cout << "create socket success, socket: " << _listensock << std::endl;
// 绑定IP和端口
struct sockaddr_in addr;
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
addr.sin_addr.s_addr = ip.empty() ? INADDR_ANY : inet_addr(ip.c_str());
if (bind(_listensock, (sockaddr *)&addr, sizeof(addr)) < 0)
{
std::cout << "bind error" << std::endl;
exit(2);
}
std::cout << "bind success" << std::endl;
// 监听listen
if (listen(_listensock, backlog) < 0)
{
std::cout << "listen error" << std::endl;
exit(3);
}
std::cout << "listen success" << std::endl;
}
~TcpServer()
{
close(_listensock);
}
void Start()
{
while (true)
{
struct sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
memset(&addr, 0, sizeof(addr));
int serverSocket = accept(_listensock, (sockaddr *)&addr, &addrlen);
while (true)
{
std::string buffer;
int n = Recvfrom(serverSocket, buffer);
if (n > 0)
std::cout << buffer << std::endl;
else
break;
sendto(serverSocket, buffer.c_str(), buffer.size(), 0, (sockaddr*)&addr, sizeof(addr));
}
close(serverSocket);
}
}
int Recvfrom(int sockfd, std::string& buffer)
{
char temp[1024];
sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
int n = recvfrom(sockfd, temp, sizeof(temp) - 1, 0, (sockaddr *)&addr, &addrlen);
if (n > 0)
{
temp[n] = 0;
buffer = temp;
}
else if (n == 0)
{
std::cout << "you close the connect, me too" << std::endl;
}
else
{
std::cout << "recvfrom error" << std::endl;
}
return n;
}
private:
int _listensock;
};
2.客户端实现
2.1socket(创建套接字)
和服务端一样,我们也要创建套接字
cpp
void Usage()
{
std::cout << "Please enter: ./Client ip port" << std::endl;
}
int main(int argc, char *argv[])
{
if (argc != 3)
{
Usage();
return 4;
}
std::string ip = argv[1];
uint16_t port = atoi(argv[2]);
// 创建套接字
int sockfd = socket(AF_INET, SOCK_STREAM, 0);
if (sockfd < 0)
{
std::cout << "create socket error" << std::endl;
exit(1);
}
std::cout << "create socket success, socket: " << sockfd << std::endl;
return 0;
}
2.2connect(发起连接)
客户端既不需要绑定bind,也不需要监听listen,直接向服务端发起connect即可。
- 服务端需要绑定一个固定IP和端口,防止用户找不到,但是客户端如果绑定固定端口,可能会导致多个不同应用的客户端绑定的是同一个端口的,系统会在connect之后为客户端分配一个未使用的端口号。
- 客户端也不需要listen,listen函数是用于接受来自其他方的连接的,而客户端都是主动发起连接的一方,例如:都是你主动打开抖音(向服务端发起连接)。
cpp
#include <sys/types.h>
#include <sys/socket.h>
int connect(int sockfd, const struct sockaddr *addr, socklen_t addrlen);
参数介绍:
- sockfd:用于标识即将发起连接请求的客户端套接字
- addr:用于标识即将发起连接请求的客户端套接字
- addrlen:addr的大小
返回值说明:
成功返回0,失败返回-1
cpp
sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
addr.sin_addr.s_addr = inet_addr(ip.c_str());
if (connect(sockfd, (sockaddr *)&addr, addrlen) < 0)
{
std::cout << "connect error" << std::endl;
exit(2);
}
std::cout << "connect success" << std::endl;
2.3sendto(发送消息)
发送给服务端你要处理的消息
cpp
while (true)
{
std::string buffer;
std::cout << "Please enter# " << std::endl;
getline(std::cin, buffer);
sendto(sockfd, buffer.c_str(), buffer.size(), 0, (sockaddr *)&addr, addrlen);
}
因为前面使用connect已经填写了addr。所以我们可以直接使用。
2.4recvfrom(接受消息)
接受客户端已经处理好的消息
cpp
//接受服务端的消息
char temp[128];
sockaddr_in raddr;
socklen_t raddrlen = sizeof(addr);
int n = recvfrom(sockfd, temp, sizeof(temp) - 1, 0, (sockaddr *)&raddr, &raddrlen);
if (n <= 0)
{
std::cout << "recvfrom error" << std::endl;
exit(3);
}
temp[n] = 0;
std::cout << "echo# " << temp << std::endl;
2.5客户端源码
cpp
#include <iostream>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include "LogMessage.hpp"
void Usage()
{
std::cout << "Please enter: ./Client ip port" << std::endl;
}
int main(int argc, char *argv[])
{
if (argc != 3)
{
Usage();
return 4;
}
std::string ip = argv[1];
uint16_t port = atoi(argv[2]);
// 创建套接字
int sockfd = socket(AF_INET, SOCK_STREAM, 0);
if (sockfd < 0)
{
std::cout << "create socket error" << std::endl;
exit(1);
}
std::cout << "create socket success, socket: " << sockfd << std::endl;
sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
addr.sin_addr.s_addr = inet_addr(ip.c_str());
if (connect(sockfd, (sockaddr *)&addr, addrlen) < 0)
{
std::cout << "connect error" << std::endl;
exit(2);
}
std::cout << "connect success" << std::endl;
while (true)
{
std::string buffer;
std::cout << "Please enter# " << std::endl;
getline(std::cin, buffer);
sendto(sockfd, buffer.c_str(), buffer.size(), 0, (sockaddr *)&addr, addrlen);
// 接受服务端的消息
char temp[128];
sockaddr_in raddr;
socklen_t raddrlen = sizeof(addr);
int n = recvfrom(sockfd, temp, sizeof(temp) - 1, 0, (sockaddr *)&raddr, &raddrlen);
if (n <= 0)
{
std::cout << "recvfrom error" << std::endl;
exit(3);
}
temp[n] = 0;
std::cout << "echo# " << temp << std::endl;
}
return 0;
}
3.运行程序
简单测试一下:
可以运行,这样一个简单TCP服务就写好了。那这段代码有问题吗?有,而且很大。
如果现在有两个用户想要访问这个服务端,上面那个用户可以正常运行,但是下面那个不行,消息并不会回显。左边的服务端也没有接受到客户端发送的消息。为什么呢?
cpp
void Start()
{
while (true)
{
struct sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
memset(&addr, 0, sizeof(addr));
int serverSocket = accept(_listensock, (sockaddr *)&addr, &addrlen);
while (true)
{
std::string buffer;
int n = Recvfrom(serverSocket, buffer);
if (n > 0)
std::cout << buffer << std::endl;
else
break;
sendto(serverSocket, buffer.c_str(), buffer.size(), 0, (sockaddr*)&addr, sizeof(addr));
}
close(serverSocket);
}
}
注意看服务端的代码,他是单进程的,并且在接收到用户发起的新连接之后,会进入下面的死循环,从此往后,他只能接受到来自第一个用户发送的消息了,只有在第一个用户断开连接之后,才会接受来自其他用户的连接。
客户为什么会显示连接成功
按照刚才的思路,服务端的执行流一直在执行下面接受第一个用户的消息,没有再次调用accept函数,但是为什么客户端会显示connect成功呢?
客户端connect成功,说明请求连接是成功的,但是服务端暂时没有调用accept获取该连接,底层会帮我们维护一个连接队列(listen的第二个参数)。将没有accept的新连接放到这个队列当中。虽然服务端还没有获取该连接,但是connect不关心服务端有没有获取,只关心有没有将新连接成功交给服务端,所以客户端显示连接成功。
将用户1关闭之后,用户而就可以正常的进行服务了
如何解决这个问题?
我们上面的问题基本上都是单执行流导致的,所以我们需要将我们的服务端改成多执行流即可。
4.多执行流
主要分为多进程版本和多线程版本。我们先将前面的服务(读取用户信息,经过处理再发给用户)封装一下
cpp
void Start()
{
while (true)
{
//获取新连接
struct sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
memset(&addr, 0, sizeof(addr));
int serverSocket = accept(_listensock, (sockaddr *)&addr, &addrlen);
//执行任务
Server(serverSocket, addr);
close(serverSocket);
}
}
void Server(int serverSocket, sockaddr_in addr)
{
while (true)
{
std::string buffer;
int n = Recvfrom(serverSocket, buffer);
if (n > 0)
std::cout << buffer << std::endl;
else
break;
sendto(serverSocket, buffer.c_str(), buffer.size(), 0, (sockaddr *)&addr, sizeof(addr));
}
}
前面我们就是以上面这种单进程的方式进行的。
4.1多进程
让父进程获取新连接,并且创建子进程执行服务。
子进程会继承父进程的文件描述符表,当子进程创建的孙子进程也会继承父进程的文件描述符表。
对于父进程来说,创建完子进程之后,就可以关闭accpet返回的文件描述符了(后续服务让子进程进行),自己继续通过socket的返回值获取新连接,而对于子进程来说,socket返回的文件描述符也没有意义,所以可以关闭。
注意:对于父进程来说,一定要关闭accept返回的文件描述符,如果只分配不关闭的话,会导致文件描述符越来越多,可用的文件描述符越来越少,这种问题叫做文件描述符泄露。但是对于子进程来说,关闭文件描述符socket文件描述符不是必须的(但是最好也要关闭)
等待子进程问题
我们知道,在父进程创建子进程之后,需要等待子进程,否则子进程会变成僵尸进程,造成给内存泄露的问题,所以父进程需要调用wait或者waitpid等待子进程。
- 但是如果采用了阻塞式等待的话,那就和单进程没什么区别了
- 如果采用非阻塞式等待,虽然也可以,但是父进程需要不断消耗资源去检测有无子进程退出
无论哪种方法都不太合适,所以我们可以想出一种无需等待子进程的方法
4.1.2孙子进程
cpp
int fd = fork();
if (fd == 0)
{
//child
close(_listensock);
if (fork() > 0)
{
exit(0);
}
//孙子进程
Server(serverSocket, addr);
close(serverSocket);
exit(0);
}
else if (fd > 0)
{
//father
close(serverSocket);
waitpid(fd, nullptr, 0);
}
else
{
std::cout << "fork error" << std::endl;
}
创建子进程之后,子进程会再创建一个孙子进程,子进程创建完孙子进程之后就退出,让孙子进程变成孤儿进程,从而被操作系统领养。此后,而父进程创建完子进程之后就开始等待子进程退出,子进程创建完孙子进程就退出,所以父进程并不需要等待很长的时间。
这种方式也是可以成功运行的。
确实创建了两个进程,并且这两个进程的ppid是1(被bash领养了),当客户端退出的时候,操作系统会自动释放孤儿进程的资源
4.1.3信号捕捉
在学习系统的信号部分时,我们学过当子进程退出时会发送SIGCHLD信号,信号的主要作用是通知父进程其一个子进程已经终止,以便父进程可以执行一些清理工作,比如回收子进程的资源。
父进程只要捕捉这个信号,并将这个信号忽略即可。子进程会自动释放资源。
cpp
signal(SIGCHLD, SIG_IGN);
// V3多进程信号版
int fd = fork();
if (fd == 0)
{
// child
close(_listensock);
Server(serverSocket, addr);
close(serverSocket);
exit(0);
}
else if (fd > 0)
{
// father
close(serverSocket);
}
也是可以正常运行的。
也是正常的三个进程在运行。接下来我们将两个子进程退出看看
最后只剩下父进程在跑了,而且子进程也没有显示出僵尸状态
4.2多线程
虽然使用多进程的方式可以解决问题,但是多进程的方式并不是主流,原因是多进程的创建成本比较大,每个进程独享一个进程地址空间,页表,进程控制块,文件描述符表等。实际开发中,我们会更倾向于选择使用多线程的方式。
只需要让主线程负责获取新连接,子线程负责给用提供服务(读取用户的信息,并将信息经过处理后,再返回给用户)。
因为子线程和主线程共享一个文件描述符表,所以并不像多进程那样双方都需要关闭文件描述符,只需要子线程在服务完之后关闭文件描述符即可。
线程等待问题
和进程一样,我们创建完线程之后,也是需要等待线程的,但是也有方法可以不用进行等待,那就是线程分离(pthread_detach),线程如果分离了,会在退出时自动释放资源。
有了大概思路之后我们就可以开始实现了
cpp
struct ThreadData
{
ThreadData(int sockfd, sockaddr_in user, TcpServer *self)
: _sockfd(sockfd), _user(user), _self(self)
{
}
public:
int _sockfd;
sockaddr_in _user;
TcpServer *_self;
};
先创建一个线程传递的参数,用于线程将来调用Server函数。这个参数是一个结构体,内部有三个对象,sockfd告诉线程从哪个文件描述符中读,user告诉线程客户端的信息(IP,Port),剩下一个参数等会说
cpp
pthread_t p;
ThreadData *data = new ThreadData(serverSocket, addr, this);
pthread_create(&p, nullptr, Handler, (void *)data);
我们可以开始创建一个线程了,但是pthread_create的第三个参数是一个返回值为void*,参数也为void*的函数指针,如果传的是类内成员函数Handler,就会报错
因为类内成员函数会自带一个隐藏的this指针,为了解决这个办法,我们只能将Handler函数设置为static
cpp
static void* Handler(void* arg)
{
}
但是这时,新的问题又出现了,Handler是静态的,无法调用类内成员函数Server了,所以我们就给线程传递的参数中增加了第三个对象,一个自己类型的指针。
cpp
static void *Handler(void *arg)
{
pthread_detach(pthread_self());
ThreadData *data = static_cast<ThreadData *>(arg);
data->_self->Server(data->_sockfd, data->_user)
}
先将线程进行分离,然后将arg参数强转为ThreadData类型,然后通过我们之前传递的this指针来调用Server函数。
cpp
void Start()
{
signal(SIGCHLD, SIG_IGN);
while (true)
{
// 获取新连接
struct sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
memset(&addr, 0, sizeof(addr));
int serverSocket = accept(_listensock, (sockaddr *)&addr, &addrlen);
pthread_t p;
ThreadData *data = new ThreadData(serverSocket, addr, this);
pthread_create(&p, nullptr, Handler, (void *)data);
}
}
static void *Handler(void *arg)
{
pthread_detach(pthread_self());
ThreadData *data = static_cast<ThreadData *>(arg);
data->_self->Server(data->_sockfd, data->_user);
close(data->_sockfd);
}
测试:
也是可以成功运行的。
创建了三个线程(PID都相同)。
并且查看当前进程,可以看到创建了三个文件描述符,3为主线程socket获取的,其他两个是accept获得的。
当用户退出时,也可以正常关闭文件描述符。
4.3线程池版本
刚刚我们选的多线程版本还存在问题吗?答案是还存在的。
每次用户发起连接后,才会创建线程,并且在断开连接,会释放线程,这样反复创建释放,效率就会比较低
如何解决这个问题呢,我们需要使用线程池来解决。线程池就是会预先创建一批线程,这些线程会进入休眠状态,等到有用户连接时,会将一个线程唤醒,然后让这个线程去为用户提供服务。
准备工作
首先我们需要一个线程池
cpp
template <class T>
class ThreadPool
{
private:
ThreadPool(size_t thread_num = 5, size_t task_num = 10)
: _thread_num(thread_num), _task_num(task_num)
{
pthread_mutex_init(&_mutex, nullptr);
pthread_cond_init(&_cond, nullptr);
for (int i = 0; i < _thread_num; i++)
{
std::string thread_name = GetPthreadName();
_threads.push_back(Thread<void, std::string>(std::bind(&ThreadPool::ThreadRun, this, std::placeholders::_1), thread_name, thread_name));
log.LogMessage(Debug, "create %s success", thread_name.c_str());
}
}
ThreadPool(const ThreadPool<T> &tp) = delete;
const ThreadPool<T> &operator=(const ThreadPool<T> &tp) = delete;
public:
static ThreadPool *GetInstance()
{
if (_instance == nullptr)
{
LockGuard lg(&_mtinst);
if (_instance == nullptr)
{
_instance = new ThreadPool<T>();
}
}
return _instance;
}
~ThreadPool()
{
pthread_mutex_destroy(&_mutex);
pthread_cond_destroy(&_cond);
}
void ThreadRun(std::string name)
{
while (true)
{
T t;
{
LockGuard lg(&_mutex);
while (_task_queue.empty())
{
ThreadWait(name);
}
t = _task_queue.front();
_task_queue.pop();
}
t();
}
}
void Start()
{
for (auto &th : _threads)
{
th.Create();
}
}
void Wait()
{
for (auto &th : _threads)
{
th.Jion();
}
}
void Push(T date)
{
LockGuard lock(&_mutex);
_task_queue.push(date);
ThreadWakeUp();
}
private:
void ThreadWait(const std::string &thread_name)
{
log.LogMessage(Debug, "%s start to wait", thread_name.c_str());
pthread_cond_wait(&_cond, &_mutex);
}
void ThreadWakeUp()
{
pthread_cond_signal(&_cond);
}
private:
std::vector<Thread<void, std::string>> _threads;
std::queue<T> _task_queue;
size_t _thread_num;
size_t _task_num;
pthread_mutex_t _mutex;
pthread_cond_t _cond;
static ThreadPool<T> *_instance;
static pthread_mutex_t _mtinst;
Log log;
};
template <class T>
ThreadPool<T> *ThreadPool<T>::_instance = nullptr;
template <class T>
pthread_mutex_t ThreadPool<T>::_mtinst = PTHREAD_MUTEX_INITIALIZER;
先完成线程池的代码,该线程池会自动创建5个线程,并且会绑定ThreadRun函数,然后我们使用你start函数就可以启动线程池,5个线程会被启动,开始执行ThraedRun函数,并被阻塞住,我们只需要将任务push到_task_queue任务队列当中即可,当任务push之后,会唤醒一个线程,并让这个线程去执行刚刚push的任务。
注意:上面有一个LogMessage函数,主要就是用于打印日志,方便我们观看,还有一个LockGuard函数,我们将锁交给他,他会帮我们管理这个锁,出了作用域之后自动释放。下面是这个函数的原型。
cpp
#pragma once
#include <iostream>
#include <pthread.h>
class Mutex;
class LockGuard;
class Mutex
{
public:
Mutex(pthread_mutex_t *lock)
:_lock(lock)
{}
void Lock()
{
pthread_mutex_lock(_lock);
}
void Unlock()
{
pthread_mutex_unlock(_lock);
}
~Mutex()
{}
private:
pthread_mutex_t *_lock;
};
class LockGuard
{
public:
LockGuard(pthread_mutex_t* mutex)
: _mutex(mutex)
{
_mutex.Lock();
}
~LockGuard()
{
_mutex.Unlock();
}
private:
Mutex _mutex;
};
封装用户信息
我们前面使用sockaddr_in来保存用户端发来的信息,例如IP和端口号,但是需要我们手动写,将sockaddr_in中的信息提取出来,比较麻烦,我们可以封装成一个类
cpp
class InetAddr
{
public:
InetAddr(const sockaddr_in addr)
: _addr(addr)
{
_ip = inet_ntoa(addr.sin_addr);
_port = ntohs(addr.sin_port);
}
std::string GetUser()
{
std::string temp;
temp += _ip;
temp += " : ";
temp += std::to_string(_port);
return temp;
}
std::string& GetIp()
{
return _ip;
}
uint16_t GetPort()
{
return _port;
}
sockaddr_in& GetAddr()
{
return _addr;
}
private:
std::string _ip;
uint16_t _port;
sockaddr_in _addr;
};
我们只需要将sockaddr_in交给这个函数,他就会自动帮我们提取IP和端口号,并且GetUser函数还会返回IP+端口的一个字符串
线程池版本整体框架
现在完事具备了,可以正式开始写服务了
cpp
TcpServer(uint16_t &port, std::string ip = "")
{
// 创建套接字
_listensock = socket(AF_INET, SOCK_STREAM, 0);
if (_listensock < 0)
{
lg.LogMessage(Error, "create socket error");
exit(1);
}
lg.LogMessage(Normal, "create socket success, socket:%d", _listensock);
int opt = 1;
setsockopt(_listensock, SOL_SOCKET, SO_REUSEADDR | SO_REUSEPORT, &opt, sizeof(opt));
// 绑定IP和端口
struct sockaddr_in addr;
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
addr.sin_addr.s_addr = ip.empty() ? INADDR_ANY : inet_addr(ip.c_str());
if (bind(_listensock, (sockaddr *)&addr, sizeof(addr)) < 0)
{
lg.LogMessage(Error, "bind error");
exit(2);
}
lg.LogMessage(Normal, "bind success");
// 监听listen
if (listen(_listensock, backlog) < 0)
{
lg.LogMessage(Error, "listen error");
exit(3);
}
lg.LogMessage(Normal, "listen success");
ThreadPool<task_t>::GetInstance()->Start();
}
首先就是我们要在构造函数中添加,让线程池启动。
cpp
using task_t = std::function<void()>;
using callback_t = std::function<void(std::string&)>;
然后使用function,设计将来我们会将什么函数push进线程池内。
cpp
void Start()
{
while (true)
{
struct sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
memset(&addr, 0, sizeof(addr));
int serverSocket = accept(_listensock, (sockaddr *)&addr, &addrlen);
// 从这往后,都使用serverSocket
InetAddr user(addr);
// V5线程池版
task_t task = std::bind(&TcpServer::Routine, this, serverSocket, user);
ThreadPool<task_t>::GetInstance()->Push(task);
}
}
每接受到一个用户申请的连接后,我们就创建一个task_t的函数对象,并且绑定一下对应的函数以及其参数,再将这个函数push到线程池内,push后自动唤醒一个线程去执行这个函数。
接下来我们只需要完成Routine函数的逻辑即可。这个函数我们可以设计成之前的Server
cpp
void Server(int serverSocket, InetAddr user)
{
sockaddr_in addr = user.GetAddr();
socklen_t addrlen = sizeof(addr);
char temp[1024];
while (true)
{
std::string buffer = "[" + user.GetUser() + "] ";
int n = recvfrom(serverSocket, temp, sizeof(temp) - 1, 0, (sockaddr *)&addr, &addrlen);
if (n > 0)
{
temp[n] = 0;
buffer += temp;
sendto(serverSocket, buffer.c_str(), buffer.size(), 0, (sockaddr *)&addr, sizeof(addr));
}
else if (n == 0)
{
std::cout << "you close the connect, me too" << std::endl;
break;
}
else
{
std::cout << "recvfrom error" << std::endl;
break;
}
}
close(serverSocket);
}
读取用户消息,然后处理(这里的处理是在消息前面加上客户端的IP和端口),再重新发送给用户。
我们先使用Server测试一下逻辑有无问题。
启动服务端之后,帮我们创建了五个线程,并且这五个线程都进入阻塞等待
最后也是符合我们的预期。
如果我们想完成更多功能呢,用户启动的时候,我们给他发送能提供哪些服务,根据用户的选择,执行不同的服务。
为了达到刚刚的目标,首先我们需要一些函数
提供各种业务
cpp
void Ping(std::string& str)
{
str = "Pong";
}
如果用户选择Ping函数,无论用户发送什么我们都给他发送一个Pong。
cpp
void Transforme(std::string& str)
{
for (auto& ch : str)
{
if ('a' <= ch && ch <= 'z')
{
ch -= 32;
}
}
}
Transforme函数将用户传入的字符串全部改为大写字母。
cpp
void Translate(std::string& str)
{
std::string chinese = dict.Find(str);
str = chinese;
}
Translate函数会将用户传过来的英文转化成中文返还给用户。
我们先从网上找一些中英文对照的单词。并将这些单词保存在一个文件当中
我们要做的是封装一个类,将这个文件中的所有单词读取出来(按行读),然后将每一行单词和对应的中文保存起来。
cpp
#include <iostream>
#include <cstring>
#include <string>
#include <fstream>
#include <vector>
#include <unordered_map>
const std::string path = "./word/E_C.txt";
class Dictionary
{
public:
Dictionary()
{
Set();
}
void Updata()
{
lines.clear();
dict.clear();
Set();
}
void Set()
{
std::ifstream file(path);
if (!file.is_open())
{
std::cerr << "打开文件失败" << std::endl;
exit(1);
}
std::string buffer;
while (std::getline(file, buffer))
{
lines.push_back(buffer);
//读取空行
std::getline(file, buffer);
}
//切分
for (auto& line : lines)
{
size_t left = line.find(" ");
//真正的单词是从left + 1开始找的
size_t right = line.find(" ", left + 1);
dict.insert(std::make_pair(line.substr(left + 1, right - left - 1), line.substr(right + 1)));
}
}
std::string Find(std::string word)
{
auto it = dict.find(word);
if (it == dict.end())
{
return "Not found";
}
else
{
return it->second;
}
}
private:
std::vector<std::string> lines;
std::unordered_map<std::string, std::string> dict;
};
Set函数会执行我们刚刚说的那几步,按行读取文本,然后切分并保存进dict中,未来我们只需要调用Find函数就能获取英文对应的汉语。
我们在TcpServer中创建一个函数名和函数的映射的哈希表。
cpp
std::unordered_map<std::string, callback_t> _funcs;
我给TcpServer中添加一个函数,用于添加新的函数。
cpp
void AddFunc(std::string func_name, callback_t task)
{
_funcs.insert({func_name, task});
}
有了这几个函数之后,我们可以将这几个函数交给TcpServer
cpp
t->AddFunc("ping", Ping);
t->AddFunc("transforme", Transforme);
t->AddFunc("translate", Translate);
Routinue函数
我们想让这个函数达到的效果就是,将来一个用户申请连接之后,我们就让一个线程去执行这个函数。
- 1.先给用户发送有哪些服务
cpp
// 向用户发送有哪些功能
std::string str = GetAllFunction();
Sendto(sockfd, user, str);
GetAllFunct函数就是将_funcs中的所有函数的函数名形成一个字符串。然后发送给字符串。
- 2.读取用户选择
cpp
std::string buffer;
Recvfrom(sockfd, buffer);
将用户想要的选择读取到buffer中。
- 3.读取用户的输入
cpp
std::string message;
Recvfrom(sockfd, message);
读取用户对相应服务的输入信息
- 4.执行用户选择服务
cpp
// 根据选择执行相应的方法
auto func = _funcs.find(buffer);
if (func != _funcs.end())
{
func->second(message);
}
else
{
message = "choise the tast not exist";
}
buffer中就是客户选择的服务,直接去func中查询。
- 5.将数据写回
cpp
//将数据写回
Sendto(sockfd, user, message);
close(sockfd);
再将数据写回,再将sockfd写回去。
长连接问题
我们之前写的服务都是长连接(连接之后死循环)。它们之间的连接并不会主动关闭,后续的读写操作会继续使用这个连接。长连接的缺点就是,连接数过多时,影响服务端的性能和并发数量。
所以我们尽量使用短链接的方式,一次连接就完成了**。**
通常浏览器访问服务器的时候就是短连接。对于服务端来说,长连接会耗费服务端的资源,而且用户用浏览器访问服务端相对而言不是很频繁的如果有几十万,上百万的连接,服务端的压力会非常大,甚至会崩溃。所以对于并发量大,请求频率低的,建议使用短连接。
客户端
cpp
#include <iostream>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include "LogMessage.hpp"
void Usage()
{
std::cout << "Please enter: ./Client ip port" << std::endl;
}
int main(int argc, char *argv[])
{
if (argc != 3)
{
Usage();
return 4;
}
std::string ip = argv[1];
uint16_t port = atoi(argv[2]);
Log lg;
// 1.创建套接字
int sockfd = socket(AF_INET, SOCK_STREAM, 0);
if (sockfd < 0)
{
lg.LogMessage(Error, "create socket error");
exit(1);
}
lg.LogMessage(Normal, "create socket success, socket:%d", sockfd);
// 2.发起连接
sockaddr_in addr;
socklen_t addrlen = sizeof(addr);
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
addr.sin_addr.s_addr = inet_addr(ip.c_str());
if (connect(sockfd, (sockaddr *)&addr, addrlen) < 0)
{
lg.LogMessage(Error, "connect error");
exit(2);
}
lg.LogMessage(Normal, "connect success");
// 3.先接受有哪些服务
char temp[128];
sockaddr_in raddr;
socklen_t raddrlen = sizeof(addr);
int n = recvfrom(sockfd, temp, sizeof(temp) - 1, 0, (sockaddr *)&raddr, &raddrlen);
if (n <= 0)
{
std::cout << "recvfrom error" << std::endl;
exit(3);
}
temp[n] = 0;
std::cout << temp << std::endl;
// 4.向服务端发送你想要执行的服务
std::string buffer;
std::cout << "Please enter# " << std::endl;
getline(std::cin, buffer);
sendto(sockfd, buffer.c_str(), buffer.size(), 0, (sockaddr *)&addr, addrlen);
// 5.为你要执行的服务发送消息
std::cout << "Please enter you message: " << std::endl;
getline(std::cin, buffer);
sendto(sockfd, buffer.c_str(), buffer.size(), 0, (sockaddr *)&addr, addrlen);
// 6.接受处理后的信息
raddrlen = sizeof(addr);
n = recvfrom(sockfd, temp, sizeof(temp) - 1, 0, (sockaddr *)&raddr, &raddrlen);
if (n > 0)
{
temp[n] = 0;
std::cout << temp << std::endl;
}
return 0;
}
运行程序
我们发先客户端在执行完一次服务之后就退出了,而服务端在执行完服务之后,线程也阻塞挂起了。
执行transforme之后,也会将用户的信息转化成大写。