【快速上手】Kafka-Eagle 监控的安装部署

目录

一、环境准备

[1、MySQL 环境准备](#1、MySQL 环境准备)

[2、Kafka 环境准备](#2、Kafka 环境准备)

[二、Kafka-Eagle 安装](#二、Kafka-Eagle 安装)

1、官网

2、上传解压

3、修改名称

4、修改配置文件

5、添加环境变量

6、创建一个数据库

[7、 启动](#7、 启动)

三、查看可视化大屏

1、登录页面查看监控数据

2、要想可视化大屏有数据,要求:

3、查看


在生产过程中,想创建topic、查看所有topic、想查看某个topic 、想查看分区等,都需要写命令,能不能有一个图形化的界面,让我们操作呢?Kafka-Eagle 框架就可以监控 Kafka 集群的整体运行情况,在生产环境中经常使用。本文介绍的就是Kafka-Eagle 框架的安装部署。

一、环境准备

1、MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。所以要保证服务器上安装有MySQL。

2、Kafka 环境准备

(1) 关闭 Kafka 集群

确保集群中有kafka(如果未安装,请看我的往期博客,有kafka的安装部署),先将其关闭。

bash 复制代码
kf.sh stop

(2)修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中

bash 复制代码
cd /opt/installs/kafka3/bin/
vi kafka-server-start.sh 

修改如下参数:

将大概28行位置的

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

fi

修改为:

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

export JMX_PORT="9999"

#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

fi

注意:修改之后在启动 Kafka 之前要分发到其他节点

bash 复制代码
# 这里我使用的是xsync.sh脚本分发的
xsync.sh /opt/installs/kafka3/bin/kafka-server-start.sh

二、Kafka-Eagle 安装

1、官网

https://www.kafka-eagle.org

2、上传解压

(1)上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录

(2)解压到本地

bash 复制代码
tar -zxvf /opt/modules/kafka-eagle-bin-2.0.8.tar.gz

(3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs

bash 复制代码
cd /opt/modules/kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 

3、修改名称

bash 复制代码
cd /opt/installs
mv efak-web-2.0.8/ efak

4、修改配置文件

找到/opt/installs/efak/conf下system-config.properties文件

bash 复制代码
cd /opt/installs/efak/conf/system-config.properties
vi system-config.properties

修改如下:

offset 保存在 kafka

cluster1.efak.offset.storage=kafka

我的服务器是bigdata01、bigdata02、bigdata03 ,请修改为你的

efak.zk.cluster.alias=cluster1,cluster2

cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

修改数据库连接:&serverTimezone=GMT 时区一定要写,否则报405错误!

我的mysql在bigdata01上 ,请请修改为你的位置,账号和密码

efak.driver=com.mysql.cj.jdbc.Driver

efak.url=jdbc:mysql://bigdata01:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT

efak.username=root

efak.password=*******

5、添加环境变量

kafkaEFAK

export KE_HOME=/opt/installs/efak

export PATH=PATH:KE_HOME/bin

修改完之后刷新环境变量:source /etc/profile

6、创建一个数据库

(1)查看mysql状态,确保是开着的

bash 复制代码
systemctl status mysqld
systemctl start mysqld

(2)在mysql上创建一个ke数据库

7、 启动

(1)注意:启动之前需要先启动 ZK 以及 KAFKA(我使用的是脚本启动)

bash 复制代码
zk.sh start
kf.sh start

(2)启动 efak

bash 复制代码
# 启动命令
ke.sh start

# 停止命令
ke.sh stop

查看mysql发现ke数据库多了许多表格:

三、查看可视化大屏

1、登录页面查看监控数据

通过端口号:8048进入可视化大屏

账号:admin 密码:123456

切记:假如访问不了,查看efak中的log日志,里面的错误特别的详细,绝对可以解决你的问题。

eagle 可以通过这个图形化界面管理Topic,查看kafka的集群的消息发送和消费情况,还可以操作zk.

2、要想可视化大屏有数据,要求:

(1)要开启消费者、生产者

(2)要想看到大屏数据,此处的JMX必须是上线状态

3、查看

相关推荐
记得开心一点嘛5 小时前
使用MinIO搭建自己的分布式文件存储
分布式·spring cloud·minio
纪元A梦6 小时前
分布式拜占庭容错算法——PBFT算法深度解析
java·分布式·算法
HAPPY酷9 小时前
Kafka 和Redis 在系统架构中的位置
redis·kafka·系统架构
忆雾屿10 小时前
云原生时代 Kafka 深度实践:06原理剖析与源码解读
java·后端·云原生·kafka
TCChzp12 小时前
Kafka入门-消费者
分布式·kafka
FakeOccupational14 小时前
【p2p、分布式,区块链笔记 MESH】Bluetooth蓝牙通信 BLE Mesh协议的拓扑结构 & 定向转发机制
笔记·分布式·p2p
·云扬·16 小时前
【PmHub面试篇】性能监控与分布式追踪利器Skywalking面试专题分析
分布式·面试·skywalking
后端码匠17 小时前
Spark 单机模式部署与启动
大数据·分布式·spark
Dnui_King18 小时前
Kafka 入门指南与一键部署
分布式·kafka