C++负载均衡远程调用学习之自定义内存池管理

目录

1.内存管理_io_buf的结构分析

2.Lars_内存管理_io_buf内存块的实现

3.buf总结

4.buf_pool连接池的单例模式设计和基本属性

5.buf_pool的初始化构造内存池

6.buf_pool的申请内存和重置内存实现

7.课前回顾


1.内存管理_io_buf的结构分析

3) Lars系统总体架构

​ 对于一个部门的后台,为增强灵活性,一个服务可以被抽象为命令字:`modid+cmdid`的组合,称为**一个模块**,而这个服务往往有多个服务节点,其所有服务节点的地址集合被称为这个模块下的**路由**,节点地址简称为节点

  • `modid`:标识业务的大类,如:"直播列表相关"

  • `cmdid`:标识具体服务内容,如:"批量获取直播列表"

​ 业务代码利用modid,cmdid,就可以调用对应的远程服务一个Lars系统包含一个DNSService,一个Report Service,以及部署于每个服务器的LoadBalance Agent,业务代码通过API与ELB系统进行交互

**API** :根据自身需要的`modid,cmdid`,向ELB系统获取节点、汇报节点调用结果;提供`C++`、`Java`、`Python`接口

**LoadBalance Agent**:运行于每个服务器上,负责为此服务器上的业务提供节点获取、节点状态汇报、路由管理、负载调度等核心功能

**DNSService** : 运行于一台服务器上(也可以用LVS部署多实例防单点),负责`modid,cmdid`到节点路由的转换

**Report Service** : 运行于DNSService同机服务器上,负责收集各`modid,cmdid`下各节点调用状况,可用于观察、报警

`modid,cmdid`数据由`Mysql`管理,具体SQL脚本在`common/sql`路径下

至于`modid,cmdid`的注册、删除可以利用Web端操作MySQL。

![1-Lars-总体架构设计](./pictures/1-Lars-%E6%80%BB%E4%BD%93%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1.png)

如图,每个服务器(虚线)部署了一台LoadBalance Agent,以及多个业务服务

  1. 开发者在Web端注册、删除、修改`modid,cmdid`的路由信息,信息被写入到MySQL数据库;

  2. 服务器上每个业务biz都把持着自己需要通信的远程服务标识`modid+cmdid`,每个biz都向本机LoadBalance Agent获取远程节点,进而可以和远程目标服务通信,此外业务模块会汇报本次的节点调用结果给LoadBalance Agent;

  3. LoadBalance Agent负责路由管理、负载均衡等核心任务,并周期性向DNSService获取最新的路由信息,周期性把各`modid,cmdid`的各节点一段时间内的调用结果传给Report Service

  4. DNSService监控MySQL,周期性将最新路由信息加载出来;

  5. Report Service将各`modid,cmdid`的各节点一段时间内的调用结果写回到MySQL,方便Web端查看、报警

2.Lars_内存管理_io_buf内存块的实现

二、项目目录构建

​ 首先在一切开始之前,我们应该将最基本的项目架构创建出来。

1)创建Lars代码总目录

```bash

$cd ~/

$mkdir Lars

```

  1. 创建一个模块Lars_reactor

lars_reactor是一个网络IO库,是我们要实现的,我们就先以它作为第一个子项目进行构建。

```bash

$mkdir lars_reactor

```

然后在lars_reactor模块下创建一系列文件,如下

```bash

.

├── example

│ └── testlib

│ ├── hello_lars.cpp

│ └── Makefile

├── include

│ └── tcp_server.h

├── lib

├── Makefile

└── src

└── tcp_server.cpp

```

3.buf总结

3)代码编写

> src/tcp_server.cpp

```cpp

#include <iostream>

void lars_hello()

{

std::cout <<"lars hello" <<std::endl;

}

```

> src/tcp_server.h

```cpp

#pragma once

void lars_hello();

4.buf_pool连接池的单例模式设计和基本属性

我们要生成一个lib库文件liblreactor.a,来提供一些reactor模块的API接口。

生成liblreactor.a的Makefile如下

> lars_reactor/Makefile

```makefile

TARGET=lib/liblreactor.a

CXX=g++

CFLAGS=-g -O2 -Wall -fPIC -Wno-deprecated

SRC=./src

INC=-I./include

OBJS = (addsuffix .o, (basename (wildcard (SRC)/*.cpp)))

(TARGET): (OBJS)

mkdir -p lib

ar cqs @ ^

%.o: %.cpp

(CXX) (CFLAGS) -c -o @ < $(INC)

.PHONY: clean

clean:

-rm -f src/*.o $(TARGET)

```

4)编译

```bash

$cd lars/lars_reactor/

$make

$g++ -g -O2 -Wall -fPIC -Wno-deprecated -c -o src/tcp_server.o src/tcp_server.cpp -I./include

mkdir -p lib

ar cqs lib/liblreactor.a src/tcp_server.o

```

我们会在lib下得到一个liblreactor.a库文件。

5.buf_pool的初始化构造内存池

5)调用liblreactor.a接口

```bash

$cd lars/lars_reactor/

$mkdir example/testlib -p

$cd example/testlib/

```

> hello_lars.cpp

```cpp

#include "tcp_server.h"

int main() {

lars_hello();

return 0;

}

```

6.buf_pool的申请内存和重置内存实现

7.课前回顾

> Makefile

```makefile

CXX=g++

CFLAGS=-g -O2 -Wall -fPIC -Wno-deprecated

INC=-I../../include

LIB=-L../../lib -llreactor

OBJS = (addsuffix .o, (basename $(wildcard *.cc)))

all:

(CXX) -o hello_lars (CFLAGS) hello_lars.cpp (INC) (LIB)

clean:

-rm -f *.o hello_lars

```

编译

```bash

$ make

g++ -o hello_lars -g -O2 -Wall -fPIC -Wno-deprecated hello_lars.cpp -I../../include -L../../lib -llreactor

```

执行

```cpp

$ ./hello_lars

lars hello

```

我们现在一个基本的项目目录就构建好了,大致如下

```bash

Lars/

├── lars_reactor

│ ├── example

│ │ └── testlib

│ │ ├── hello_lars

│ │ ├── hello_lars.cpp

│ │ └── Makefile

│ ├── include

│ │ └── tcp_server.h

│ ├── lib

│ │ └── liblreactor.a

│ ├── Makefile

│ └── src

│ ├── tcp_server.cpp

│ └── tcp_server.o

└── README.md

```

相关推荐
丰锋ff15 分钟前
数据结构学习笔记
数据结构·笔记·学习
六点半88823 分钟前
【蓝桥杯】第十六届蓝桥杯C/C++大学B组个人反思总结
c语言·c++·算法·蓝桥杯
✿ ༺ ོIT技术༻28 分钟前
笔试强训:Day3
c++·笔记·算法
让我们一起加油好吗2 小时前
【C++】类和对象(中)——默认成员函数详解(万字)
开发语言·c++·visualstudio·类和对象
fhqlongteng2 小时前
一种动态分配内存错误的解决办法
运维·服务器·网络·c++
小猪佩奇TONY3 小时前
OpenGL-ES 学习(14) ----顶点指定和基本图元的绘制
学习
企鹅不耐热.3 小时前
Spark学习全总结
大数据·学习·spark
珊瑚里的鱼3 小时前
牛客网题解 | 栈的压入、弹出序列
开发语言·c++·笔记·算法·leetcode·stl
Suckerbin6 小时前
Pikachu靶场-目录遍历
学习·安全·网络安全
冰茶_6 小时前
WPF之RadioButton控件详解
学习·microsoft·c#·wpf