Kafka-eagle监控平台

Kafka-Eagle简介

在开发工作中,当业务不复杂时,可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂,例如:需要增加group、topic分区,此时,再使用命令行就感觉很不方便,此时,如果使用一个可视化的工具帮助我们完成日常的管理工作,将会大大提高对于Kafka集群管理的效率,而且还可以使用工具来监控消费者在Kafka中消费情况。

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

官网:https://www.kafka-eagle.org/

安装Kafka-eagle

  • 官网下载压缩包、上传服务器并解压
  • 安装jdk,配置jdk环境变量

https://blog.51cto.com/u_15307418/3132282 -> 查看jdk默认安装路径,配置环境变量

properties 复制代码
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64
export PATH=$PATH:$JAVA_HOME/bin
  • 给kafka-eagle配置环境变量,vim /etc/profile 进入配置文件,末尾添加如下内容
properties 复制代码
export KE_HOME=/usr/local/kafka-eagle/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin

source /etc/profile 使环境变量生效

  • 解压缩修改配置文件 system-config.properties,修改里面的zk的地址和mysql的地址
yaml 复制代码
efak.zk.cluster.alias=cluster1
cluster1.zk.list=124.222.253.33:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://124.222.253.33:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456
  • 进入到bin中,通过命令来启动
shell 复制代码
./ke.sh start

启动成功

平台的使用

访问地址:http://124.222.253.33:8048

用户名:admin

密 码:123456

进入平台可以查看topic、consumer等信息

指标解释:

指标 意义
Brokers Spread broker使用率
Brokers Skew 分区是否倾斜
Brokers Leader Skew leader partition是否存在倾斜

生产者消息总计

等等。

相关推荐
奔跑吧邓邓子2 小时前
大数据利器Hadoop:从基础到实战,一篇文章掌握大数据处理精髓!
大数据·hadoop·分布式
weixin_453965007 小时前
[单master节点k8s部署]30.ceph分布式存储(一)
分布式·ceph·kubernetes
weixin_453965007 小时前
[单master节点k8s部署]32.ceph分布式存储(三)
分布式·ceph·kubernetes
Dylanioucn9 小时前
【分布式微服务云原生】掌握分布式缓存:Redis与Memcached的深入解析与实战指南
分布式·缓存·云原生
weixin_4539650012 小时前
[单master节点k8s部署]31.ceph分布式存储(二)
分布式·ceph·kubernetes
坎坎坷坷.13 小时前
分布式理论:拜占庭将军问题
分布式
极客先躯19 小时前
高级java每日一道面试题-2024年10月3日-分布式篇-分布式系统中的容错策略都有哪些?
java·分布式·版本控制·共识算法·超时重试·心跳检测·容错策略
niu_sama19 小时前
仿RabbitMQ实现消息队列三种主题的调试及源码
分布式·rabbitmq
鸡c19 小时前
rabbitMq------客户端模块
分布式·rabbitmq·ruby
猿java20 小时前
使用 Kafka面临的挑战
java·后端·kafka