【快速上手】Kafka-Eagle 监控的安装部署

目录

一、环境准备

[1、MySQL 环境准备](#1、MySQL 环境准备)

[2、Kafka 环境准备](#2、Kafka 环境准备)

[二、Kafka-Eagle 安装](#二、Kafka-Eagle 安装)

1、官网

2、上传解压

3、修改名称

4、修改配置文件

5、添加环境变量

6、创建一个数据库

[7、 启动](#7、 启动)

三、查看可视化大屏

1、登录页面查看监控数据

2、要想可视化大屏有数据,要求:

3、查看


在生产过程中,想创建topic、查看所有topic、想查看某个topic 、想查看分区等,都需要写命令,能不能有一个图形化的界面,让我们操作呢?Kafka-Eagle 框架就可以监控 Kafka 集群的整体运行情况,在生产环境中经常使用。本文介绍的就是Kafka-Eagle 框架的安装部署。

一、环境准备

1、MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。所以要保证服务器上安装有MySQL。

2、Kafka 环境准备

(1) 关闭 Kafka 集群

确保集群中有kafka(如果未安装,请看我的往期博客,有kafka的安装部署),先将其关闭。

bash 复制代码
kf.sh stop

(2)修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中

bash 复制代码
cd /opt/installs/kafka3/bin/
vi kafka-server-start.sh 

修改如下参数:

将大概28行位置的

if "x$KAFKA_HEAP_OPTS" = "x" ; then

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

fi

修改为:

if "x$KAFKA_HEAP_OPTS" = "x" ; then

export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

export JMX_PORT="9999"

#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

fi

注意:修改之后在启动 Kafka 之前要分发到其他节点

bash 复制代码
# 这里我使用的是xsync.sh脚本分发的
xsync.sh /opt/installs/kafka3/bin/kafka-server-start.sh

二、Kafka-Eagle 安装

1、官网

https://www.kafka-eagle.org

2、上传解压

(1)上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录

(2)解压到本地

bash 复制代码
tar -zxvf /opt/modules/kafka-eagle-bin-2.0.8.tar.gz

(3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs

bash 复制代码
cd /opt/modules/kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 

3、修改名称

bash 复制代码
cd /opt/installs
mv efak-web-2.0.8/ efak

4、修改配置文件

找到/opt/installs/efak/conf下system-config.properties文件

bash 复制代码
cd /opt/installs/efak/conf/system-config.properties
vi system-config.properties

修改如下:

offset 保存在 kafka

cluster1.efak.offset.storage=kafka

我的服务器是bigdata01、bigdata02、bigdata03 ,请修改为你的

efak.zk.cluster.alias=cluster1,cluster2

cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

修改数据库连接:&serverTimezone=GMT 时区一定要写,否则报405错误!

我的mysql在bigdata01上 ,请请修改为你的位置,账号和密码

efak.driver=com.mysql.cj.jdbc.Driver

efak.url=jdbc:mysql://bigdata01:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT

efak.username=root

efak.password=*******

5、添加环境变量

kafkaEFAK

export KE_HOME=/opt/installs/efak

export PATH=PATH:KE_HOME/bin

修改完之后刷新环境变量:source /etc/profile

6、创建一个数据库

(1)查看mysql状态,确保是开着的

bash 复制代码
systemctl status mysqld
systemctl start mysqld

(2)在mysql上创建一个ke数据库

7、 启动

(1)注意:启动之前需要先启动 ZK 以及 KAFKA(我使用的是脚本启动)

bash 复制代码
zk.sh start
kf.sh start

(2)启动 efak

bash 复制代码
# 启动命令
ke.sh start

# 停止命令
ke.sh stop

查看mysql发现ke数据库多了许多表格:

三、查看可视化大屏

1、登录页面查看监控数据

通过端口号:8048进入可视化大屏

账号:admin 密码:123456

切记:假如访问不了,查看efak中的log日志,里面的错误特别的详细,绝对可以解决你的问题。

eagle 可以通过这个图形化界面管理Topic,查看kafka的集群的消息发送和消费情况,还可以操作zk.

2、要想可视化大屏有数据,要求:

(1)要开启消费者、生产者

(2)要想看到大屏数据,此处的JMX必须是上线状态

3、查看

相关推荐
祈禾7 小时前
Redis三大缓存问题与分布式锁
运维·数据库·redis·笔记·分布式·缓存
叠层归一研究院8 小时前
AGI 系统(五):多主体 AGI 网络 — 分布式符号边界上的时序差同构传播
分布式·php·agi
李白客13 小时前
分布式集群与数据库产业:从单机到集群的架构跃迁与市场重构
数据库·分布式·架构
传感器与混合集成电路13 小时前
储气库漏失检测技术解析:分布式光纤如何锁定环空窜漏的精确位置
分布式·数据分析·信号处理
cfm_291416 小时前
了解Sentinel
分布式·架构·sentinel
上海云盾-小余16 小时前
全域网络安全防护思路:借助分布式节点抵御异常访问实战
分布式·安全·web安全
江畔柳前堤18 小时前
LLM 量化与剪枝完全指南:从比特级数学到生产级内核
人工智能·分布式·深度学习·算法·机器学习·目标跟踪·语言模型
中议视控19 小时前
展厅可视化网络中央控制系统:支持双向反馈,可视化播控,回显,状态显示,反向控制电脑,声光电网络视讯设备统一管理
网络·分布式·信息可视化
Java成神之路-1 天前
集群架构 vs 分布式微服务架构:核心区别通俗拆解
分布式·微服务·架构
运维行者_2 天前
企业带宽监控工具实战:网络流量分析与异常排查的5个关键能力
运维·服务器·开发语言·网络·分布式·后端·php