内网离线搭建之----kafka-manager集群监控

工具介绍:

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。

这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。

它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:

1.管理多个kafka集群

2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)

3.选择你要运行的副本

4.基于当前分区状况进行

5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)

6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)

7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)

8.为已存在的topic增加分区

9.为已存在的topic更新配置

10.在多个topic上批量重分区

11.在多个topic上批量重分区(可选partition broker位置)

kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

1.解压

PS:安装包kafka集群篇有

复制代码
unzip kafka-manager-1.3.3.7.zip

vi conf/application.conf 
# kafka-manager.zkhosts="localhost:2181" 

kafka-manager.zkhosts="192.168.9.184:2181,192.168.9.185:2181,192.168.9.186:2181"

2.启动

复制代码
kafka-manager 默认的端口是9000。

可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:

#前台启动 
bin/kafka-manager -Dhttp.port=8081 
后台启动 
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8081 >/dev/null 2>&1 &

3.操作

  • 配置

启动后访问浏览器 域名+9000端口

点击【Cluster】>【Add Cluster】打开集群的配置界面:

输入集群的名字和 Zookeeper 服务器地址(如localhost:2181),选择最接近的Kafka版本(如0.10.1.0)

注意:如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框。如果选择了该复选框,Kafka-manager 可能会无法启动。

  • 查看集群
  • 创建topic

4.注意事项

  • 启动报错

​​​​​​​​​​​​​​

修改下配置文件application.conf

复制代码
akka {
  loggers = ["akka.event.slf4j.Slf4jLogger"]
  loglevel = "INFO"
  logger-startup-timeout = 30s
}
相关推荐
Q16849645152 小时前
提高命令行运行效率-正则 表达式
数据库·mysql
盒马coding2 小时前
PostgreSQL 空闲空间映射(FSM)深度解读
数据库·postgresql
vistaup3 小时前
Android ContentProvier
android·数据库
Pluchon3 小时前
硅基计划5.0 MySQL 陆 视图&JDBC编程&用户权限控制
数据库·mysql·1024程序员节
摇滚侠3 小时前
Spring Boot3零基础教程,Kafka 小结,笔记79
spring boot·笔记·kafka
摇滚侠3 小时前
Spring Boot3零基础教程,自定义 starter,把项目封装成依赖给别人使用,笔记65
数据库·spring boot·笔记
不剪发的Tony老师3 小时前
SQLiteSpy:一款轻量级的SQLite管理工具
数据库·sqlite
一 乐4 小时前
车辆管理|校园车辆信息|基于SprinBoot+vue的校园车辆管理系统(源码+数据库+文档)
java·前端·数据库·vue.js·论文·毕设·车辆管理
得物技术4 小时前
告别数据无序:得物数据研发与管理平台的破局之路
大数据·数据库·数据分析
沐浴露z5 小时前
一篇文章详解Kafka Broker
java·分布式·kafka