4.应用层自定义协议与序列化

1.应用层

程序员写的一个个解决我们实际问题, 满足我们日常需求的网络程序, 都是在应用层

1.1再谈"协议"

协议是一种 "约定". socket api 的接口, 在读写数据时, 都是按 "字符串" 的方式来发送接收的. 如果我们要传输一些 "结构化的数据" 怎么办呢?
其实，协议就是双方约定好的结构化的数据

约定方案
• 定义结构体来表示我们需要交互的信息; 
• 发送数据时将这个结构体按照一个规则转换成字符串, 接收到数据的时候再按
照相同的规则把字符串转化回结构体; 
• 这个过程叫做 "序列化" 和 "反序列化"

1.2序列化 和 反序列化

只要保证, 一端发送时构造的数据, 在另一端能够正确的进行解析, 就是 ok 的. 
这种约定, 就是 应用层协议。
• 我们要引入序列化和反序列化，我们直接采用现成的方案 -- jsoncpp库

• 我们要对 socket 进行字节流的读取处理

从现在起：如果我们要进行网络协议式的通信，在应用层，强烈建议使用序列化和反序列化的方案。至于直接传结构体的方案，除非特殊场景，否则不建议

序列化和反序列化的优点是解耦！！！

2.重新理解read，write，recv，send和tcp为什么支持全双工

2.1 全双工

所以：
1. 在任何一台主机上，TCP 连接既有发送缓冲区，又有接受缓冲区，所以，在内核
中，可以在发消息的同时，也可以收消息，即全双工
2. 这就是为什么一个 tcp sockfd 读写都是它的原因
3. 实际数据什么时候发，发多少，出错了怎么办，由 TCP 控制，所以 TCP 叫做传
输控制协议

结论：

1. write，read 就是收发消息 --- write和read是不是把数据发送到了网络中？(no,主要进行的是数据拷贝)（OS把数据发送到网络中，本质也是拷贝）

2. 主机间通信的本质：把发送方的发送缓冲区内部的数据，拷贝到对端的接受缓冲区！

3. 为什么TCP通信的时候，是全双工的？因为有两对发送和接受缓冲区！！！

2.2 面向数据流/面向数据报

面向数据流（TCP）理解：一次可能读取1.5，0.5 ....个段数据，TCP 能保证字节流的完整性 （无丢失、无重复），但不保证消息边界的完整性。

而 面向数据报（UDP）每个数据报（Datagram）是独立的 "消息"，包含完整的源 / 目的地址

3.网络版计算器实现

问题：因为TCP是面向字节流的

当读取方在读取的时候，可能读到一个完整的json请求，也可能会读到半个？一个半？5个？5个半请求json串？？ --- 全都有可能发生。

read -> 本身并不保证读到的报文的完整性！！！他只保证把数据如果有，就读上来（谁来保证呢？？由应用层程序员自己保证！！）【进一步定制协议...】

当我们tcp中读取数据的时候，读到的报文不完整，或者多读了，导致下一个报文不完整了，这个问题叫做 "粘包" 问题

Common.hpp

InetAddr.hpp

Log.hpp

main.cc

makefile

Mutex.hpp

NetCal.hpp

Protocol.hpp

Socket.hpp

TcpClient.cc

TcpServer.hpp

Deamon.hpp

4.关于流式数据的处理

5.进程间关系与守护进程

5.1 进程组

之前我们提到了进程的概念， 其实每一个进程除了有一个进程 ID(PID)之外 还属于一
个进程组。**进程组是一个或者多个进程的集合， 一个进程组可以包含多个进程。**每一
个进程组也有一个唯一的进程组 ID(PGID)， 并且这个 PGID 类似于进程 ID， 同样是
一个正整数， 可以存放在 pid_t 数据类型中。

5.1.2 组长进程

每一个进程组都有一个组长进程。 组长进程的 ID 等于其进程 ID。我们可以通过 ps 命
令看到组长进程的现象

Shell
[node@localhost code]$ ps -o pid,pgid,ppid,comm | cat
# 输出结果
PID PGID PPID COMMAND
2806 2806 2805 bash
2880 2880 2806 ps
2881 2880 2806 cat

• 进程组组长的作用： 进程组组长可以创建一个进程组或者创建该组中的进程
• 进程组的生命周期： 从进程组创建开始到其中最后一个进程离开为止。注意：主要某个进程组中有一个进程存在， 则该进程组就存在， 这与其组长进程是否已经终止无关。

5.2 会话

会话其实和进程组息息相关，会话可以看成是一个或多个进程组的集合， 一个会话可以包含多个进程组。每一个会****话也有一个会话 ID(SID)（通常我们都是使用管道将几个进程编成一个进程组**）**
5.2.2 如何创建会话
可以调用 setseid 函数来创建一个会话， 前提是调用进程不能是一个进程组的组长

C
#include <unistd.h>
/*
*功能：创建会话
*返回值：创建成功返回 SID, 失败返回-1
*/
pid_t setsid(void);

该接口调用之后会发生：
￮ 调用进程会变成新会话的**会话首进程。**此时， 新会话中只有唯一的一个进 程
￮ 调用进程会变成进程组组长。 新进程组 ID 就是当前调用进程 ID
￮ 该进程没有控制终端。 如果在调用 setsid 之前该进程存在控制终端， 则调用之后会切断联系
需要注意的是： 这个接口如果调用进程原来是进程组组长， 则会报错， 为了避免这种情况， 我们通常的使用方法是先调用fork创建子进程， 父进程终止， 子进程继续执行， 因为子进程会继承父进程的进程组****ID,而进程ID 则是新分配的， 就不会出现错误的情况。

5.2.2 setsid

setsid是一个非常重要的系统调用和命令行工具，主要用于创建新的会话（session）和进程组（process group）

5.3 控制终端

在 UNIX 系统中，用户通过终端登录系统后得到一个Shell进程，这个终端成为****Shell
进程的控制终端。控制终端是保存在PCB中的信息，我们知道fork进程会复制****PCB
中的信息，因此由Shell进程启动的其它进程的控制终端也是这个终端。默认情况下
没有重定向，每个进程的标准输入、标准输出和标准错误都指向控制终端，进程从标
准输入读也就是读用户的键盘输入，进程往标准输出或标准错误输出写也就是输出到
显示器上。另外会话、进程组以及控制终端还有一些其他的关系：
￮ 一个会话可以有一个控制终端，通常会话首进程打开一个终端（终端设备或
伪终端设备）后，该终端就成为该会话的控制终端。
￮ 建立与控制终端连接的会话首进程被称为控制进程。
￮ 一个会话中的几个进程组可被分成一个前台进程组以及一个或者多个后台进
程组。
￮ 如果一个会话有一个控制终端，则它有一个前台进程组，会话中的其他进程
组则为后台进程组。
￮ 无论何时进入终端的中断键（ctrl+c）或退出键（ctrl+\），就会将中断信号
发送给前台进程组的所有进程。
￮ 如果终端接口检测到调制解调器（或网络）已经断开，则将挂断信号发送给
控制进程（会话首进程）。
这些特性的关系如下图所示：

5.4 作业控制

作业是针对用户来讲，用户完成某项任务而启动的进程，一个作业既可以只包含一个进程，也可以包含多个进程，进程之间互相协作完成任务， 通常是一个进程管道。
Shell 分前后台来控制的不是进程而是作业 或者进程组。一个前台作业可以由多个进程组成，一个后台作业也可以由多个进程组成，Shell 可以同时运⾏一个前台作业和任意多个后台作业，这称为作业控制。

5.4.2 作业的挂起与切回

**(1)**作业挂起
我们在执⾏某个作业时，可以通过 Ctrl+Z 键将该作业挂起，然后 Shell 会显示相关的作业号、状态以及所执⾏的命令信息。现通过 Ctrl+Z 将作业挂起， 该作业状态已经变为了停止状态
**(2)**作业切回
如果想将挂起的作业切回，可以通过 fg 命令，fg 后面可以跟作业号或作业的命令名称。如果参数缺省则会默认将作业号为 1 的作业切到前台来执⾏，若当前系统只有一个作业在后台进⾏，则可以直接使用 fg 命令不带参数直接切回

5.4.3 查看后台执行或挂起的作业

我们可以直接通过输入 jobs 命令查看本用户当前后台执⾏或挂起的作业
▪ 参数-l 则显示作业的详细信息
▪ 参数-p 则只显示作业的 PID
例如， 我们先在后台及前台运⾏两个作业， 并将前台作业挂起， 来用 jobs 命令
查看作业相关的信息：

Shell
# 在后台运行一个作业 sleep
[node@localhost code]$ sleep 300 &
# 运行刚才的死循环可执行程序
[node@localhost code]$ ./test
# 键入 Ctrl + Z 挂起作业
# 使用 jobs 命令查看后台及挂起的作业
[node@localhost code]$ jobs -l

运⾏结果如下所示：
Shell
# 结果依次对应作业号 默认作业 作业状态 运行程序信息
[1]- 2265 运行中 sleep 300 &
[2]+ 2267 停止 ./test7

5.4.4 作业控制相关的信号

键入 Ctrl + Z 可以将前台作业挂起，实际上是将 STGTSTP 信号发送至前台进程组作业中的所有进程， 后台进程组中的作业不受影响。 在 unix系统中， 存在 3 个特殊字符可以使得终端驱动程序产生信号， 并将信号发送至前台进程组作业， 它们分别是：
▪ Ctrl + C： 中断字符， 会产生 SIGINT 信号
▪ Ctrl + \： 退出字符， 会产生 SIGQUIT 信号
▪ Ctrl + Z：挂起字符， 会产生 STGTSTP 信号
终端的 I/O(即标准输入和标准输出)和终端产生的信号总是从前台进程组作业连接打破实际终端

5.5 守护进程

附录：

1. Jsoncpp

命令 ls /usr/include/jsoncpp/json/ 用于查看 Linux 系统中 JSONCpp 库的头文件目录

Jsoncpp 是一个用于处理 JSON 数据的 C++ 库。它提供了将 JSON 数据序列化为字符串以及从字符串反序列化为 C++ 数据结构的功能

C++
ubuntu：sudo apt-get install libjsoncpp-dev
Centos: sudo yum install jsoncpp-devel

Jsoncpp 提供了多种方式进行序列化：

1. 使用Json::Value 的 toStyledString 方法：
   ￮ 优点：将 Json::Value 对象直接转换为格式化的 JSON 字符串

C++
#include <iostream>
#include <string>
#include <jsoncpp/json/json.h>
int main()
{
    Json::Value root;
    root["name"] = "joe";
    root["sex"] = "男";
    std::string s = root.toStyledString();
    
    std::cout << s << std::endl;
    return 0;
}

$ ./test.exe
{
    "name" : "joe",
    "sex" : "男"
}

2. 使用Json::StreamWriter：
   ￮ 优点：提供了更多的定制选项，如缩进、换行符等。

#include <iostream>
#include <string>
#include <sstream>
#include <memory>
#include <jsoncpp/json/json.h>
int main()
{
    Json::Value root;
    root["name"] = "joe";
    root["sex"] = "男";
    Json::StreamWriterBuilder wbuilder; // StreamWriter 的
工厂
    std::unique_ptr<Json::StreamWriter>
writer(wbuilder.newStreamWriter());
    std::stringstream ss;
    writer->write(root, &ss);
    std::cout << ss.str() << std::endl;
    return 0;
}

$ ./test.exe
{
    "name" : "joe",
    "sex" : "男"
}

3. 使用Json::FastWriter
   优点：比 StyledWriter 更快，因为它不添加额外的空格和换行符。

C++
#include <iostream>
#include <string>
#include <sstream>
#include <memory>
#include <jsoncpp/json/json.h>
int main()
{
    Json::Value root;
    root["name"] = "joe";
    root["sex"] = "男";
    Json::FastWriter writer;
    std::string s = writer.write(root);
    std::cout << s << std::endl;
    return 0;
}

$ ./test.exe
{"name":"joe","sex":"男"}

#include <iostream>
#include <string>
#include <sstream>
#include <memory>
#include <jsoncpp/json/json.h>
int main()
{
    Json::Value root;
    root["name"] = "joe";
    root["sex"] = "男";
    // Json::FastWriter writer;
    Json::StyledWriter writer;
    std::string s = writer.write(root);
    std::cout << s << std::endl;
    return 0;
}

$ ./test.exe
{
    "name" : "joe",
    "sex" : "男"
}

2. 反序列化

1. 使用Json::Reader：
   ￮ 优点：提供详细的错误信息和位置，方便调试。

C++
#include <iostream>
#include <string>
#include <jsoncpp/json/json.h>
int main() {
    // JSON 字符串
    std::string json_string = "{\"name\":\"张三\",
\"age\":30, \"city\":\"北京\"}";

// 解析 JSON 字符串
    Json::Reader reader;
    Json::Value root;
    
    // 从字符串中读取 JSON 数据
    bool parsingSuccessful = reader.parse(json_string,
root);
    if (!parsingSuccessful) {
    // 解析失败，输出错误信息
    std::cout << "Failed to parse JSON: " <<
    reader.getFormattedErrorMessages() << std::endl;
    return 1;
}

    // 访问 JSON 数据
    std::string name = root["name"].asString();
    int age = root["age"].asInt();
    std::string city = root["city"].asString();

    // 输出结果
    std::cout << "Name: " << name << std::endl;
    std::cout << "Age: " << age << std::endl;
    std::cout << "City: " << city << std::endl;
    return 0;
}
$ ./test.exe
Name: 张三
Age: 30
City: 北京

3. Json::Value

Json::Value 是 Jsoncpp 库中的一个重要类，用于表示和操作 JSON 数据结构。以下是一些常用的 Json::Value 操作列表(具体的看课件)