OceanBase集群扩缩容

​ OceanBase 数据库采用 Shared-Nothing 架构，各个节点之间完全对等，每个节点都有自己的 SQL 引擎、存储引擎、事务引擎，天然支持多租户，租户间资源、数据隔离，集群运行的最小资源单元是Unit，每个租户在每个节点上只会运行一个Unit。

先看看集群整体架构图，下面集群的部署模式为"三中心三副本"

有3个zone，每个zone下有两个OBServer节点

以业务租户Tenant_1为例，它有2个Unit，因为蓝色主副本P1、P2运行在zone1的observer上，蓝色主副本P3、P4运行在zone2的observer上，它们分别在另外两个observer上都运行着一个绿色从副本，以提高可用性和读性能，这是"三中心三副本"的由来。

在只有3个zone的情况下，Tenant_1租户的Unit=2，设置Unit=3 就是扩容，Unit=1 就是缩容

• 扩容：需要在每个zone下都增加一台服务器，总共3台，然后在数据库参数中调整Unit_Num的大小由2改为3，就会自动在新添加的服务器上启动Unit（默认配置了负载均衡策略），并自动迁移数据，来提升服务能力

• 缩容有两种场景，1.只减少租户下Unit数量，不下线服务器，2.减少Unit数量，也下线服务器

​ 在有多个zone的情况下，可以在创建租户时，指定租户属于不同zone，还可以迁移zone从一个机房搬迁到另一个机房，先增加 Zone，再在该 Zone 内增加节点，然后调整租户的 Locatity 属性，租户就是数据库实例，相当于把不同的数据库实例部署在不同的zone上。

​ 通过上面的理论得知，扩缩容实际上是调整Unit_Num的数量，而每个节点上只能运行一个租户的一个Unit，它又需要2个副本，所以增加一个Unit就需要在所有zone上都增加一台服务器，且Unit的资源描述大小不能超过服务器硬件配置（Unit需要8核、16G，而增加的服务器只有4核8G，则扩容失败），如果已有zone内的服务器资源配置充足，则不需要添加服务器就可以扩容。

​ **Tenant_SYS ** 系统租户目前不能扩容，只能3副本的形式存在，而且系统租户资源需要管理整个OceanBase集群的正常运行，所以不要在系统租户上创建数据库和表（上篇文章因演示需要才直接在系统租户下创建的数据库表），官方推荐在自定义租户下创建库表。

数据链路：客户端应用 -> F5/LVS -> OBProxy -> OBServer

上面介绍了扩缩容的理论，下面介绍扩缩容的实际操作，还是先说理论：

• 在部署集群后，会自动创建一个系统租户（Tenant_SYS），同时会创建一些元数据表，部署时的配置信息会保存到元数据表中，扩缩容需要添加服务器节点，调休租户的Unit_Num大小，这些操作都需要保存到元数据表中，我们可以连接系统租户数据库查看元数据表的内容，查看zone、查看节点、查看租户、查看Unit等。

1.连接到系统租户

obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A

-u ：租户的连接账户，格式有：用户名@租户名#集群名，系统租户MySQL模式，默认用户名为root，租户为sys，集群名在创建集群时设置的，集群名可以不写。

-p：提供账户密码，为了安全可以不提供，改为在后面提示符下输入，密码文本不可见

-A：表示在 OBClient 连接数据库时不自动获取统计信息

2.查看zone和observer

# 查看zone
SELECT * FROM oceanbase.DBA_OB_ZONES;

STATUS: ACTIVE为可用状态，INACTIVE为不可用状态

# 查看节点
SELECT * FROM oceanbase.DBA_OB_SERVERS;

查询结果中的相关字段说明如下：

• SVR_IP：节点 IP。
• SVR_PORT：节点的 RPC 端口。
• ZONE：节点所在的 Zone。
• SQL_PORT：节点的 SQL 端口，可以使用该端口通过直连方式连接 OceanBase 数据库。
• WITH_ROOTSERVER：该节点是否为集群 RS（RootServer），RS 负责处理集群管理操作。
• STATUS：节点的状态。ACTIVE：表示该节点为可用状态。INACTIVE：表示该节点为宕机状态。DELETING：表示该节点正在被删除。
• STOP_TIME：节点停止服务的时间点。如果值为 NULL，表示节点服务正常运行。
• START_SERVICE_TIME：节点开始服务的时间点。如果值为 NULL，表示节点未提供服务。
• BLOCK_MIGRATE_IN_TIME：禁止副本迁入的开始时间点。如果为 NULL，表示副本正常迁入。

3.添加节点

3.1.节点需安装OceanBase软件包，并启动observer进程

在OecanBase添加节点前需要在节点上安装OceanBase软件，设置数据存储目录，在oceanbase-all-in-one-4.2.1.1-xxxx86_64.tar.gz的rpms目录中有安装包

1.安装rpm包，主要是oceanbase-ce 和oceanbase-ce-libs，都可以安装
rpm -ivh $rpm_name

2.初始化 OceanBase 数据库的目录，$cluster_name是集群名
mkdir -p /data/1/$cluster_name/{etc3,sort_dir,sstable,slog} 
mkdir -p /data/log1/$cluster_name/{clog,etc2,ilog,oob_clog} 
mkdir -p /home/admin/oceanbase/store/$cluster_name
for t in {etc3,sort_dir,sstable,slog};do ln -s /data/1/$cluster_name/$t /home/admin/oceanbase/store/$cluster_name/$t; done
for t in {clog,etc2,ilog,oob_clog};do ln -s /data/log1/$cluster_name/$t /home/admin/oceanbase/store/$cluster_name/$t; done

3.启动observer进程
/home/root/oceanbase/bin/observer -I 192.168.113.164 -P 2882 -p 2881 -z zone1 -d /home/root/oceanbase/store/myoceanbase -r '192.168.113.161:2882:2881' -c 20240119 -n myoceanbase -o "system_memory=10GB,datafile_size=100G,config_additional_dir=/data/1/myoceanbase/etc3;/data/log1/myoceanbase/etc2"

启动observer进程相关参数说明如下：

• -I：参数用于指定待启动的节点 IP。在多机部署场景下，不能指定 127.0.0.1 作为目标 IP。
• -c：用于指定集群 ID。其值可通过 SHOW PARAMETERS LIKE 'cluster_id'; 语句获取。
• -p：用于指定 SQL 端口号。一般为 2881，除非有明确目的，一般不建议修改。
• -P：用于指定 RPC 端口号。一般为 2882，除非有明确目的，不建议修改。
• -n：用于指定集群名。其值可通过 SHOW PARAMETERS LIKE 'cluster'; 语句获取。本示例中集群名为 myoceanbase。
• -z：用于指定待加入的 Zone。可通过视图 DBA_OB_ZONES 查看集群中的 Zone 名。
• -d：用于指定数据目录。
• -r：用于指定待添加的 OceanBase 集群的 RS 地址列表。
• -l：用于指定日志的级别，本示例中为 WARN，表示日志级别为 WARNING 级别。
• -o：用于指定集群的启动配置项，需要根据实际情况配置。
  • system_memory：用于指定 OceanBase 数据库内部保留内存，10G，默认是 30G。
  • datafile_size：用于指定 OceanBase 数据库数据文件 SSTable 的大小（一次性初始化），根据 /data/1/ 可用空间评估，建议不少于 100G，同时又保留一些剩余空间。
  • config_additional_dir：用于指定参数文件的冗余目录。

如果需要添加多个节点，请重复执行上面添加节点操作。

3.2.向OceanBase集群添加节点

添加节点后，就需要连接集群，把节点添加到元数据表中

1.连接系统租户数据库
obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A

2.向集群的 Zone 中添加节点
ALTER SYSTEM ADD SERVER 'svr_ip:svr_port' [,'svr_ip:svr_port'...] [ZONE [=] 'zone_name'];
ALTER SYSTEM ADD SERVER '192.168.113.164:2882','192.168.113.165:2882' ZONE 'zone4';

3.查询 DBA_OB_SERVERS 进行确认
SELECT * FROM oceanbase.DBA_OB_SERVERS;

增加节点后，节点所在的 Zone 内有更多的节点容纳 Unit，从而可以执行后续的迁移 Unit、调整租户的 UNIT_NUM 以及新建租户等操作

3.3.扩容，调整租户UNIT_NUM大小

租户扩容和缩容本质上是提高和降低租户的服务能力，包括计算能力和存储容量。可以通过提高单节点的服务能力达成，也可以通过增加服务节点达成。

下面通过调整Unit_Num大小来达到租户总服务能力的提升或降低，实现租户的扩容或缩容。

从 V4.0.0 版本开始，OceanBase 数据库要求租户内每个 Zone 的 Unit 个数必须保持一致

• 有个前提条件，设置租户内的负载均衡策略，租户内的负载均衡策略由租户级配置项 enable_rebalance 和 enable_transfer 共同控制，它们的默认值为 true，设置后不需要重启 OBServer 节点，立即生效。当他们的值为true时，表示在进行租户扩缩容操作时，系统会自动调整分区分布，实现负载均衡。

  ALTER SYSTEM SET enable_rebalance = true TENANT = 'tenant_name';
  ALTER SYSTEM SET enable_transfer = true TENANT = 'tenant_name';
  
  #系统租户开启所有用户租户（不含 sys 租户和 Meta 租户）的租户内负载均衡和租户下的 Transfer 功能
  ALTER SYSTEM SET enable_rebalance = true TENANT = all;
  ALTER SYSTEM SET enable_transfer = true TENANT = all;
  

调整Unit_Num大小，来给租户扩缩容

• 1.连接系统租户数据库

  obclient -h192.168.113.161 -P2883 -uroot@sys#myoceanbase -p***** -A
  

• 2.use oceanbase;

  可以 show tables; 看看有很多系统内置的表
  

• 3.查看租户 mysql001 信息，获取其 TENANT_ID。

  SELECT * FROM oceanbase.DBA_OB_TENANTS WHERE TENANT_NAME = 'ocp';
  

  查询结果中，UNIT_NUM 的值为 1 表示租户的 Unit Number 数为 1。

  

• 4.查看租户 ocp 所拥有的 Unit，在3台服务器上分别有一个Unit，一主两从。

  SELECT * FROM oceanbase.DBA_OB_UNITS WHERE TENANT_ID = 1002;
  

  

• 5.把租户 mysql001 的 UNIT_NUM 修改为 2。

  ALTER RESOURCE TENANT mysql001 UNIT_NUM = 2;
  

• 6.查看调大 Unit Number 任务的执行状态。

  SELECT * FROM oceanbase.DBA_OB_TENANT_JOBS WHERE JOB_TYPE='ALTER_RESOURCE_TENANT_UNIT_NUM' AND TENANT_ID=1006;
  

• 7.再次查看租户 mysql001 修改后的 Unit。

  SELECT * FROM oceanbase.DBA_OB_UNITS WHERE TENANT_ID = 1006;
  

• 8.通过随机删除 UNIT_GROUP 的方式来调小 UNIT_NUM 的数量

  ALTER RESOURCE TENANT mysql001 UNIT_NUM = 1;
  

参考了官方文档：
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000507927
https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000508357