Prometheus+grafana实践:Doris数据库的监控

文章来源:乐维社区

Doris数据库背景

Doris(Apache Doris)是一个现代化的MPP(Massive Parallel Processing,大规模并行处理)数据库,主要用于在线分析处理(OLAP)场景。

Doris数据库的特点

高性能:Doris采用了列式存储和MPP架构,能够对海量数据进行快速查询。

易用性:提供了类似SQL的查询接口,易于上手和使用。

实时性:支持实时数据更新和查询,适用于实时数据分析场景。

兼容性:支持多种数据源接入,如MySQL、Apache Hive、Apache HDFS等。

高可用:支持集群部署,具有容错和自动恢复功能。

Doris数据库的架构

前端:FE(Frontend)节点负责接收查询请求、查询解析、查询计划生成和执行。

后端:BE(Backend)节点负责数据存储、查询执行和数据导入等操作。

元数据管理:采用分布式元数据管理,保证了系统的高可用性和扩展性。

Doris数据库的部署

对于Doris数据库的架构方式分为前端和后端的方式,因此我们要分别部署前端和后端两部分。

准备4核心+4G内存+10G硬盘的centos7 X86的Linux虚拟机。

1.拉取Doris数据库的安装包

Wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.12-bin-x64.tar.gz![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1647848e048946c1a970c78cc5f6a42b.png)

2.解压安装包到/usr/local/目录下

tar xzvf apache-doris-2.0.12-bin-x64.tar.gz -C /usr/local/

3.给安装目录重新命名

mv apache-doris-2.0.12-bin-x64 apache-doris

4.在目录下分为3部分

5.安装Doris数据库需要jdk8的环境

yum install -y java-1.8.0-openjdk.x86_64

6.部署fe

vim fe/conf/fe.conf

7.加上fe的jdk的环境变量

8.启动fe

./bin/start_fe.sh --daemon

9.部署be

vim be/conf/be.conf

10.加上be的jdk的环境变量

11.启动be

12.启动be时需要执行三条命令

sysctl -w vm.max_map_count=2000000

ulimit -n 60000

swapoff -a

13.在mysql官网中下载mysql的客户端(Doris数据库需要使用mysql客户端进行连接)

14.连接Doris数据库的fe

mysql -uroot -P9030 -h127.0.0.1

15.将be添加到集群

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";(自己主机IP加上默认端口9050)

16.修改root密码和admin密码

SET PASSWORD FOR 'root' = PASSWORD('p@ssw0rd');

SET PASSWORD FOR 'admin' = PASSWORD('p@ssw0rd');

17.Doris数据库部署完成

部署prometheus并监控Doris数据库

1.在官网中下载prometheus的安装包

https://prometheus.io/download/

2.解压tar包

tar xzvf prometheus-3.0.1.linux-amd64.tar.gz

3.修改prometheus.yml配置文件监控Doris数据库

vim prometheus.yml

4.Doris数据库自带metrics的接口,prometheus可以直接拿取数据,不用安装export

5.设置metrics的地址以及组

6.启动prometheus

nohup ./prometheus --web.listen-address="0.0.0.0:8181"

7.停止防火墙

Systemctl stop firewalld

8.访问网址看是否监控成功

http://192.168.91.170:8181

部署grafana

1.安装grafana

yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-11.3.1-1.x86_64.rpm

2.启动grafana服务

联动prometheus+grafana

1.配置数据源

Prometheus的地址

2.导入dashboard(从官网找一些dashboard导入即可)

相关推荐
10mAh37 分钟前
【Git】误删分支、reset --hard 后提交丢了怎么办?——reflog、fsck 与安全恢复实战
数据库·git·安全·回归
J_bean38 分钟前
剖析 MySQL InnoDB 共享行锁 (S) & 排他行锁 (X)
数据库·mysql·共享行锁·s lock·排他行锁·x lock
Lumistory43 分钟前
城市景观亮化设施维护管养的核心痛点与标准化解决方案
数据库·光照贴图
DLYSB_1 小时前
Kafka 消费倾斜死锁与 Partition 掉队:我用 Rust 写了个“数据管道物理哨兵”,比 Grafana 报警快了 18 秒
rust·kafka·grafana·报警灯
云烟成雨TD1 小时前
Micrometer 系列【63】统一观测:基于 Spring Boot 的生产级演示案例 | 基于 OTLP 集成 Prometheus + Jaeger
spring boot·云原生·prometheus
倒流时光三十年1 小时前
第六阶段 57 · ES|QL 与 SQL API(用 SQL 查 ES)
数据库·sql·elasticsearch
努力进修2 小时前
“数据心脏” 驱动能源自主:国产数据库支撑 Cemsol 实现固井全流程数字化闭环
数据库·人工智能·能源
vHelios2 小时前
SQL不会写?不会找关联表?复杂SQL语句编写逻辑实现思路请查收✉
数据库·sql
DB哥讲数据库2 小时前
【ClickHouse安装教程】从零开始部署高性能列式数据库(附ClickHouse安装包)
数据库·clickhouse
TDengine (老段)3 小时前
TDengine 第三方工具 — Telegraf、Kafka Connect、Flink、Spark
大数据·数据库·物联网·flink·kafka·时序数据库·tdengine