内网离线搭建之----kafka-manager集群监控

工具介绍:

为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。

这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。

它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:

1.管理多个kafka集群

2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)

3.选择你要运行的副本

4.基于当前分区状况进行

5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)

6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)

7.Topic list会指明哪些topic被删除(在0.8.2以上版本适用)

8.为已存在的topic增加分区

9.为已存在的topic更新配置

10.在多个topic上批量重分区

11.在多个topic上批量重分区(可选partition broker位置)

kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

1.解压

PS:安装包kafka集群篇有

复制代码
unzip kafka-manager-1.3.3.7.zip

vi conf/application.conf 
# kafka-manager.zkhosts="localhost:2181" 

kafka-manager.zkhosts="192.168.9.184:2181,192.168.9.185:2181,192.168.9.186:2181"

2.启动

复制代码
kafka-manager 默认的端口是9000。

可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:

#前台启动 
bin/kafka-manager -Dhttp.port=8081 
后台启动 
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8081 >/dev/null 2>&1 &

3.操作

  • 配置

启动后访问浏览器 域名+9000端口

点击【Cluster】>【Add Cluster】打开集群的配置界面:

输入集群的名字和 Zookeeper 服务器地址(如localhost:2181),选择最接近的Kafka版本(如0.10.1.0)

注意:如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框。如果选择了该复选框,Kafka-manager 可能会无法启动。

  • 查看集群
  • 创建topic

4.注意事项

  • 启动报错

​​​​​​​​​​​​​​

修改下配置文件application.conf

复制代码
akka {
  loggers = ["akka.event.slf4j.Slf4jLogger"]
  loglevel = "INFO"
  logger-startup-timeout = 30s
}
相关推荐
殷紫川3 小时前
写穿硬盘的秘密:LSM-Tree 如何把随机写变成顺序写的艺术
数据库
AI源码4 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
草莓熊Lotso4 小时前
【C++ 基于微服务的即时通讯系统】用户服务之Redis数据层落地:会话、登录状态与验证码全封装
数据库·c++·redis·微服务·语音识别
Flynn Liang5 小时前
AI Agent 分层记忆体系实战:用 Redis 五类结构构建可淘汰、可追溯的长短期记忆
数据库·人工智能·redis
Henry-SAP15 小时前
PP的生产调度员(Production Scheduler)的角色与配置
数据库
Flynn Liang17 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
小乖写代码19 小时前
消息、回执与媒体 · msgstore.db · Messages, Receipts, and Media
数据库·媒体·whatsapp·消息回执
GeW20 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库
PingCAP21 小时前
平凯数据库 × 圣诺云数:让治理数据实时可用、跨域可信流通
数据库·tidb
利威尔xu21 小时前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化