Doris单机部署——2.0.1.1版本

目录

一、前期准备工作

1.设置系统最大文件打开句柄数

2.时钟同步

3.关闭每台机器的交换分区

4.下载安装包

二、单节点部署安装Doris

(一)安装fe

1.解压改名

2.修改配置文件

3.创建元数据目录

4.启动fe

5.访问fe的webUI

(二)安装be

1.进入be目录下,修改配置文件

2.创建两个storage文件

3.修改start-be.sh文件,第一行添加JAVA_HOME

4.启动前输入命令

5.启动be

6.检查be是否启动成功

(三)连接fe和be

1.登录Doris客户端界面

2.查看fe状态

3.查看be状态

4.添加be到fe

(四)部署broker(可选)

1.启动broker

2.添加broker节点

(五)关闭Doris


Doris官网地址:https://doris.apache.org/

一、前期准备工作

准备三台机器,建立好ssh免密传输,在每台机器都要做如下步骤:

1.设置系统最大文件打开句柄数

打开三台机器的/etc/security/limits.conf文件,在文件最后一行输入如下内容

bash 复制代码
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536

2.时钟同步

参考往期文章《Linux中CentOS7时间与网络时间orWindows同步的方法

3.关闭每台机器的交换分区

4.下载安装包

https://doris.apache.org/download

我下载的是2.0.1.1版本的

二、单节点部署安装Doris

(一)安装fe

选择集群中的一台机器,进行如下操作:

1.解压改名

bash 复制代码
tar -zxf apache-doris-2.0.1.1-bin-x64.tar.gz -C /opt/module/

cd /opt/module/

mv apache-doris-2.0.1.1-bin-x64/ doris-2.0.1.1

cd doris-2.0.1.1/

2.修改配置文件

bash 复制代码
-- 去自己的路径中找到fe.conf文件
vim /opt/module/doris-2.0.1.1/fe/conf/fe.conf

# fe日志存放路径
LOG_DIR = ${DORIS_HOME}/log

# 配置文件中指定元数据路径: 需手动创建该目录
meta_dir = /opt/module/doris-2.0.1.1/doris-meta
# 注意:生产环境强烈建议单独指定目录不要放在Doris安装目录下,最好是单独的磁盘(如果有SSD最好)
# 测试开发环境可以使用默认配置

#修改绑定 ip(每台机器修改成自己的 ip) 
priority_networks = 192.168.180.0/24
# 192.168.180.0/24表示以192.168.180为网络地址的一个子网
# 其中该子网中的主机地址可以是从192.168.180.1到192.168.180.254的任意IP地址 

# fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 8GB。 

3.创建元数据目录

bash 复制代码
mkdir -p /opt/module/doris-2.0.1.1/doris-meta

4.启动fe

bash 复制代码
/opt/module/doris-2.0.1.1/fe/bin/start_fe.sh

# 或者后台启动
/opt/module/doris-2.0.1.1/fe/bin/start_fe.sh --daemon

5.访问fe的webUI

http://hadoop102:8030

username是root,没有密码,直接登录即可

(二)安装be

1.进入be目录下,修改配置文件

bash 复制代码
vim /opt/module/doris-2.0.1.1/be/conf/be.conf

priority_networks = 192.168.180.0/24

storage_root_path = /opt/module/doris-2.0.1.1/be/storage.HDD;/opt/module/doris-2.0.1.1/be/storage.SSD

2.创建两个storage文件

bash 复制代码
mkdir -p /opt/module/doris-2.0.1.1/be/storage.HDD
mkdir -p /opt/module/doris-2.0.1.1/be/storage.SSD

3.修改start-be.sh文件,第一行添加JAVA_HOME

bash 复制代码
cd /opt/module/doris-2.0.1.1/be/bin/

vim start-be.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212

4.启动前输入命令

bash 复制代码
第一次启动的时候可能会报错
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
解决方案:
命令行先输入:sysctl -w vm.max_map_count=2000000

5.启动be

bash 复制代码
/bin/start-be.sh

6.检查be是否启动成功

bash 复制代码
[root@hadoop102 ~]# netstat -nltp | grep be
tcp        0      0 0.0.0.0:9050            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:8060            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:9060            0.0.0.0:*               LISTEN      7311/doris_be       
tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      7311/doris_be 

(三)连接fe和be

因为FE和BE两个都是单独的个体,所以他俩相互间还不认识,就需要我们通过mysql的客户端将他们建立起联系

1.登录Doris客户端界面

在 FE 中添加所有 BE 节点,可以使用 mysql-client(下载MySQL 5.7) 连接到 FE:

bash 复制代码
mysql -uroot -P9030 -p -hhadoop102

2.查看fe状态

bash 复制代码
show proc '/frontends' \G

红框内表示该节点的机器是leader

3.查看be状态

bash 复制代码
SHOW PROC '/backends' \G;

4.添加be到fe

bash 复制代码
alter system add backend 'hadoop102:9050';

此时be成功和fe连接!

(四)部署broker(可选)

Broker 是用于访问外部数据源(如 hdfs)的进程。Broker 以插件的形式,独立于 Doris 部署。如果需要从第三方存储系统导入数据,需要部署相应的 Broker,默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的,建议每一个 FE 和 BE 节点都部署一个 Broker。

1.启动broker

bash 复制代码
# 直接启动broker即可

/opt/module/doris-2.0.1.1/extensions/apache_hdfs_broker/bin/start_broker.sh --daemon 

2.添加broker节点

使用 mysql-client 连接启动的 FE,执行以下命令:

bash 复制代码
# 查看broker
mysql> SHOW PROC "/brokers"; 

# 添加broker
mysql> ALTER SYSTEM ADD BROKER broker_name "hadoop102:8000","hadoop103:8000","hadoop104:8000";

(五)关闭Doris

在关闭Doris的Broker、FE(Frontend)和BE(Backend)之前,建议首先关闭BE(Backend),然后再关闭FE(Frontend),最后关闭Broker。

  • 关闭BE是因为BE是Doris的存储和计算引擎,关闭BE可以确保数据的完整性和一致性。
  • 关闭FE是因为FE是Doris的前端服务,关闭FE可以停止对外提供查询和操作接口。
  • 关闭Broker是最后一步,关闭Broker可以确保所有请求已经处理完毕,避免数据丢失或不一致的情况发生。

请注意,在关闭任何组件之前,确保已经进行了适当的备份,并且关闭顺序可能因具体环境和需求而有所不同。

关闭时执行关闭脚本即可

后台启动有可能关不掉be,解决办法:

集群部署后期会更新~

相关推荐
AlfredZhao2 小时前
vi 删除指定范围的行,不用再反复按 dd
linux·vi
用户9718356334668 小时前
银河麒麟 KY10 申威(SW64) 安装 nginx-1.16.1-2.p01.ky10.sw_64.rpm 详细步骤
linux
猪脚踏浪10 小时前
linux 拷贝文件或目录到指定的位置
linux
大树881 天前
金刚石散热越强,管路越先见顶
大数据·运维·服务器·人工智能·ai
摇滚侠1 天前
Linux CentOS7 rpm 安装 MySQL 5.7
linux·运维·mysql
霸道流氓气质1 天前
领域驱动设计(DDD)在 Spring Boot 微服务中的实践指南
运维·spring boot·微服务
bush41 天前
嵌入式linux学习记录十四、术语
linux·嵌入式
载数而行5201 天前
Linux 11 动态监控指令top
linux
小宇宙Zz1 天前
Maven依赖冲突
java·服务器·maven
Inhand陈工1 天前
基于台达PLC与映翰通IG502的智慧水产养殖精准投喂与远程运维解决方案
运维·人工智能·物联网·阿里云·信息与通信