【Apache Doris】Manager极致丝滑地运维管理

1.标准化VS可视化运维管理
[2. 环境信息](#2. 环境信息)
- 2.1.硬件信息
- 2.2.软件信息
3.前置准备
- 3.1.安装包准备
- 3.2.文档手册准备
4.集群初始化
- 4.1.系统参数预设
- 4.2.Manager部署
- 4.3.新集群部署
- [4.4 监控告警](#4.4 监控告警)
- - [4.4.1 监控](#4.4.1 监控)
  - [4.4.2 告警](#4.4.2 告警)
[5. 集群升级](#5. 集群升级)
- [5.1 新包准备](#5.1 新包准备)
- [5.2 一键升级](#5.2 一键升级)
- [5.3 结果验收](#5.3 结果验收)
[6. 集群扩所容](#6. 集群扩所容)
- [6.1 一键扩容](#6.1 一键扩容)
- [6.2 一键缩容](#6.2 一键缩容)
[7. 多集群管理](#7. 多集群管理)
- [7.1 新建/接管集群](#7.1 新建/接管集群)
- [7.2 环境配置](#7.2 环境配置)
- [7.3 节点配置](#7.3 节点配置)
[8. 总结](#8. 总结)

1.标准化VS可视化运维管理

标准化运维管理 ，首先得自己手动在集群的每台节点上去分发包、并解压 ；然后分别对FE和BE进行配置初始化（FE主要修改IP和JAVA目录，BE主要修改IP、JAVA目录和存储路径配置）。

做完上面的包分发及配置初始化后，还需分别到对应节点去启动FE、BE和Broker进程，如果节点较多需要考虑写脚本分发命令或借助外部运维平台简化。其中BE和Broker可以直接把进程全部拉起，然后通过Client逐个Add加入集群即可，但FE集群有类似Zookeeper的选举机制，所以非第一个FE节点第一次启动时、还得注意加--helper命令。

初始化完集群后，如果想做可视化监控得另外集成Prometheus和Grafana ，如果要做告警管理可能还得另外部署夜莺N9E。这一套组合拳下来，运维管理体系算是基本完成了，但是天都夜màma了。

可视化运维管理（Cluster Manager for Apache Doris，简称 Doris Manager，再简称 Manager），它让使用者有了更多的时间钓鱼、消化饼 and 早点回家。

Manager能够快速拉起一套又一套的Doris/SelectDB集群，集成了监控告警、集群巡检和WebUI等模块，提供了集群启停、扩缩容和升级等常规运维操作可视化的快捷入口，能够极大地提高运维管理效率，且使用起来也非常顺畅。

接下来一起来纵享Manager的丝滑体验吧！

2. 环境信息

2.1.硬件信息

内存：256G
CPU：48C
CPU架构：X86_64

2.2.软件信息

Doris: 2.0.2
SelectDB：2.0.2
Manager：23.10.3
系统：CentOS

3.前置准备

官方专项微信群公告中应有尽有，还没有进群的小伙伴们可私a拉你！

3.1.安装包准备

manager下载地址 ：https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/doris-manager/release/23.10.3/doris-manager-23.10.3-x64-bin.tar.gz
doris/selected安装包下载地址 ：
- doris: https://doris.apache.org/zh-CN/download/
- selectdb: https://cn.selectdb.com/download/core

本次新建集群以selectdb为例，接管集群以doris为例。

3.2.文档手册准备

1. 部署手册 ：
https://selectdb.feishu.cn/docx/AJNcdaDuboVfJTx1KVBc6Adwnpe?from=from_copylin
2. 使用指南 ：
https://selectdb.feishu.cn/docx/QSt5dexQTorAkNxLaRCcMNncnmc?from=from_copylin
3. FAQ 文档 ：
https://selectdb.feishu.cn/docx/AdaudiDKQovS7SxQwhucrUg7nPd?from=from_copylink
4. WebUI文档 ：
https://cn.selectdb.com/docs/enterprise/enterprise-core-guide/selectdb-webui-guide
5. 问题收集与反馈 ：
https://selectdb.feishu.cn/share/base/form/shrcnose8DHPBSoCX68hMU5nPOb

4.集群初始化

4.1.系统参数预设

交换分区（swap）未关闭，请打开终端窗口，输入以下命令以禁用交换分区：

shell 复制代码

sudo swapoff -a

最大打开文件数小于65535，请打开终端窗口，输入以下命令：

shell 复制代码

sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
sudo sysctl -p

虚拟内存区域数量不符合要求，请打开终端窗口，输入以下命令：

shell 复制代码

sudo sysctl -w vm.max_map_count=2000000

机器时钟一致（各节点之间的时差默认需小于5秒）

4.2.Manager部署

1）创建一个用于Manager的目录

shell 复制代码

mkdir manager
cd manager

2）上传准备的Manager和SelectDB包

3）解压Manager包

shell 复制代码

tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz

Manager安装包目录说明

python 复制代码

    deps // Doris Manager 管控依赖组件
       alertmanager // 告警工具
       grafana // 监控看板工具
	   jdk // jdk依赖包
       prometheus // 监控指标存储工具
dorisctrl // Doris Manager 管控组件
       bin  // 启停脚本
       conf // 配置文件
       lib  // 服务二进制
webserver // Doris Manager Web 服务组件，这是网页入口服务，需要手工启动
       bin  // 启停脚本
       conf  // 配置文件
       config-tool  // Doris Manager 服务管理工具
       inspection  // 巡检脚本
       lib  // 服务二进制
       static  // 前端静态文件

4）配置web服务（可选）

不配置时，默认会将web服务的元数据存放在一个h2内置小数据库。

shell 复制代码

vim webserver/conf/manager.conf

manager.conf如下：

shell 复制代码

# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004

# 服务依赖的数据库类型: mysql或者h2。默认为h2。
DB_TYPE=mysql

# 如果数据库类型为h2，默认的数据存储路径为webserver目录下的data路径，
# 用户也可以指定自定义的绝对路径
DATA_PATH=

# 如果数据库类型为mysql，配置mysql数据库的访问地址
DB_HOST=127.0.0.0

# 配置mysql数据库的访问端口
DB_PORT=3306

# 配置mysql数据库的访问用户
DB_USER=root

# 配置mysql数据库的访问用户密码
DB_PASS=root

# 配置mysql数据库的访问Database名称，需要提前创建
DB_DBNAME=manager

5）启动web服务

shell 复制代码