【快速上手】Kafka-Eagle 监控的安装部署

目录

一、环境准备

[1、MySQL 环境准备](#1、MySQL 环境准备)

[2、Kafka 环境准备](#2、Kafka 环境准备)

[二、Kafka-Eagle 安装](#二、Kafka-Eagle 安装)

1、官网

2、上传解压

3、修改名称

4、修改配置文件

5、添加环境变量

6、创建一个数据库

[7、 启动](#7、 启动)

三、查看可视化大屏

1、登录页面查看监控数据

2、要想可视化大屏有数据，要求:

3、查看

---

在生产过程中，想创建topic、查看所有topic、想查看某个topic 、想查看分区等，都需要写命令，能不能有一个图形化的界面，让我们操作呢？Kafka-Eagle 框架就可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。本文介绍的就是Kafka-Eagle 框架的安装部署。

一、环境准备

1、MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL，MySQL 主要用来存储可视化展示的数据。所以要保证服务器上安装有MySQL。

2、Kafka 环境准备

（1） 关闭 Kafka 集群

确保集群中有kafka(如果未安装，请看我的往期博客，有kafka的安装部署)，先将其关闭。

kf.sh stop

（2）修改/opt/installs/kafka3/bin/kafka-server-start.sh 命令中

cd /opt/installs/kafka3/bin/
vi kafka-server-start.sh 

修改如下参数：

将大概28行位置的

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

fi

修改为：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then

export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

export JMX_PORT="9999"

#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

fi

注意：修改之后在启动 Kafka 之前要分发到其他节点

# 这里我使用的是xsync.sh脚本分发的
xsync.sh /opt/installs/kafka3/bin/kafka-server-start.sh

二、Kafka-Eagle 安装

1、官网

https://www.kafka-eagle.org

2、上传解压

（1）上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群/opt/modules 目录

（2）解压到本地

tar -zxvf /opt/modules/kafka-eagle-bin-2.0.8.tar.gz

(3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs

cd /opt/modules/kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 

3、修改名称

cd /opt/installs
mv efak-web-2.0.8/ efak

4、修改配置文件

找到/opt/installs/efak/conf下system-config.properties文件

cd /opt/installs/efak/conf/system-config.properties
vi system-config.properties

修改如下：

offset 保存在 kafka

cluster1.efak.offset.storage=kafka

我的服务器是bigdata01、bigdata02、bigdata03 ，请修改为你的

efak.zk.cluster.alias=cluster1,cluster2

cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

修改数据库连接：&serverTimezone=GMT 时区一定要写，否则报405错误！

我的mysql在bigdata01上 ，请请修改为你的位置，账号和密码

efak.driver=com.mysql.cj.jdbc.Driver

efak.url=jdbc:mysql://bigdata01:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT

efak.username=root

efak.password=*******

5、添加环境变量

kafkaEFAK

export KE_HOME=/opt/installs/efak

export PATH=PATH:KE_HOME/bin

修改完之后刷新环境变量：source /etc/profile

6、创建一个数据库

（1）查看mysql状态，确保是开着的

systemctl status mysqld
systemctl start mysqld

（2）在mysql上创建一个ke数据库

7、 启动

（1）注意：启动之前需要先启动 ZK 以及 KAFKA（我使用的是脚本启动）

zk.sh start
kf.sh start

（2）启动 efak

# 启动命令
ke.sh start

# 停止命令
ke.sh stop

查看mysql发现ke数据库多了许多表格：

三、查看可视化大屏

1、登录页面查看监控数据

通过端口号：8048进入可视化大屏

账号：admin 密码：123456

切记：假如访问不了，查看efak中的log日志，里面的错误特别的详细，绝对可以解决你的问题。

eagle 可以通过这个图形化界面管理Topic，查看kafka的集群的消息发送和消费情况，还可以操作zk.

2、要想可视化大屏有数据，要求:

（1）要开启消费者、生产者

（2）要想看到大屏数据，此处的JMX必须是上线状态

3、查看