内网离线搭建之----kafka-manager集群监控

工具介绍:

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。

这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。

它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:

1.管理多个kafka集群

2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)

3.选择你要运行的副本

4.基于当前分区状况进行

5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)

6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)

7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)

8.为已存在的topic增加分区

9.为已存在的topic更新配置

10.在多个topic上批量重分区

11.在多个topic上批量重分区(可选partition broker位置)

kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

1.解压

PS:安装包kafka集群篇有

复制代码
unzip kafka-manager-1.3.3.7.zip

vi conf/application.conf 
# kafka-manager.zkhosts="localhost:2181" 

kafka-manager.zkhosts="192.168.9.184:2181,192.168.9.185:2181,192.168.9.186:2181"

2.启动

复制代码
kafka-manager 默认的端口是9000。

可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:

#前台启动 
bin/kafka-manager -Dhttp.port=8081 
后台启动 
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8081 >/dev/null 2>&1 &

3.操作

  • 配置

启动后访问浏览器 域名+9000端口

点击【Cluster】>【Add Cluster】打开集群的配置界面:

输入集群的名字和 Zookeeper 服务器地址(如localhost:2181),选择最接近的Kafka版本(如0.10.1.0)

注意:如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框。如果选择了该复选框,Kafka-manager 可能会无法启动。

  • 查看集群
  • 创建topic

4.注意事项

  • 启动报错

​​​​​​​​​​​​​​

修改下配置文件application.conf

复制代码
akka {
  loggers = ["akka.event.slf4j.Slf4jLogger"]
  loglevel = "INFO"
  logger-startup-timeout = 30s
}
相关推荐
施嘉伟30 分钟前
Oracle 11g RAC ASM磁盘组剔盘、加盘实施过程
数据库·oracle
苏小夕夕1 小时前
spark-streaming(二)
大数据·spark·kafka
〆、风神1 小时前
Spring Boot 整合 Lock4j + Redisson 实现分布式锁实战
spring boot·分布式·后端
橘猫云计算机设计2 小时前
springboot基于hadoop的酷狗音乐爬虫大数据分析可视化系统(源码+lw+部署文档+讲解),源码可白嫖!
数据库·hadoop·spring boot·爬虫·python·数据分析·毕业设计
胡萝卜糊了Ohh2 小时前
kafka
分布式·kafka
卓怡学长2 小时前
w304基于HTML5的民谣网站的设计与实现
java·前端·数据库·spring boot·spring·html5
冰^3 小时前
MySQL VS SQL Server:优缺点全解析
数据库·数据仓库·redis·sql·mysql·json·数据库开发
电商数据girl3 小时前
产品经理对于电商接口的梳理||电商接口文档梳理与接入
大数据·数据库·python·自动化·产品经理
Spring小子4 小时前
黑马点评商户查询缓存--缓存更新策略
java·数据库·redis·后端
桑榆08064 小时前
Spark-Streaming核心编程
大数据·分布式·spark