内网离线搭建之----kafka-manager集群监控

工具介绍:

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。

这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。

它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:

1.管理多个kafka集群

2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)

3.选择你要运行的副本

4.基于当前分区状况进行

5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)

6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)

7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)

8.为已存在的topic增加分区

9.为已存在的topic更新配置

10.在多个topic上批量重分区

11.在多个topic上批量重分区(可选partition broker位置)

kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

1.解压

PS:安装包kafka集群篇有

复制代码
unzip kafka-manager-1.3.3.7.zip

vi conf/application.conf 
# kafka-manager.zkhosts="localhost:2181" 

kafka-manager.zkhosts="192.168.9.184:2181,192.168.9.185:2181,192.168.9.186:2181"

2.启动

复制代码
kafka-manager 默认的端口是9000。

可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:

#前台启动 
bin/kafka-manager -Dhttp.port=8081 
后台启动 
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8081 >/dev/null 2>&1 &

3.操作

  • 配置

启动后访问浏览器 域名+9000端口

点击【Cluster】>【Add Cluster】打开集群的配置界面:

输入集群的名字和 Zookeeper 服务器地址(如localhost:2181),选择最接近的Kafka版本(如0.10.1.0)

注意:如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框。如果选择了该复选框,Kafka-manager 可能会无法启动。

  • 查看集群
  • 创建topic

4.注意事项

  • 启动报错

​​​​​​​​​​​​​​

修改下配置文件application.conf

复制代码
akka {
  loggers = ["akka.event.slf4j.Slf4jLogger"]
  loglevel = "INFO"
  logger-startup-timeout = 30s
}
相关推荐
浔川python社1 小时前
网络爬虫技术规范与应用指南系列(xc—1)
数据库·爬虫
爱敲代码的TOM1 小时前
详解Kafka2-进阶机制
kafka
海梨花1 小时前
【从零开始学习RabbitMQ】
分布式·学习·rabbitmq
代码不停1 小时前
计算机工作原理(简单介绍)
数据库·redis·缓存
偷心伊普西隆1 小时前
Python Access:删除数据库中指定的表和查询
数据库·python
小蒜学长2 小时前
springboot基于BS的小区家政服务预约平台(代码+数据库+LW)
java·数据库·spring boot·后端
失散134 小时前
分布式专题——26 BIO、NIO编程与直接内存、零拷贝深入辨析
java·分布式·rpc·架构·nio·零拷贝
计算机编程小央姐4 小时前
大数据工程师认证项目:汽车之家数据分析系统,Hadoop分布式存储+Spark计算引擎
大数据·hadoop·分布式·数据分析·spark·汽车·课程设计
zhangfeng11334 小时前
生物信息 R语言和 cytoscape 相互沟通的组件RCy3,构建cytoscape网络表 节点类型表 链接边的表,并推送到cytoscape
数据库·r语言·生物信息
小森( ﹡ˆoˆ﹡ )4 小时前
GPT_Data_Processing_Tutorial
数据库·gpt·mysql