基于kafka_exporter&prometheus&grafana的kafka监控实现

一、安装配置kafka_exporter

下载kafka_exporter

powershell 复制代码
wget http://*.*.*.45:10000/prometheus/kafka_exporter-1.4.2.linux-amd64.tar.gz
tar -zxcf kafka_exporter-1.4.2.linux-amd64.tar.gz

启动kafka_exporter

powershell 复制代码
./kafka_exporter --kafka.server=*.*.*.77:8423 --kafka.server=*.*.*.78:8423 --kafka.server=*.*.*.79:8423 --kafka.server=*.*.*.80:8423 --kafka.server=*.*.*.81:8423 &

Error Init Kafka Client: kafka: client has run out of available brokers to talk to (Is your cluster reachable?)

报错原因:kafka_exporter版本太低 !!!

防火墙开放端口(未启动防火墙不需要)

powershell 复制代码
firewall-cmd --add-port=9092/tcp --permanent       	# 开放 9092 端口
firewall-cmd --reload              					# 重新加载 
firewall-cmd --list-ports     						# 查看所有开放端口 
或 
firewall-cmd --add-port=9092/tcp --permanent && firewall-cmd --reload && firewall-cmd --list-ports

kafka_exporter启动脚本

powershell 复制代码
#!/bin/bash 
nohup /data/gxpt/kafka_exporter/kafka_exporter-2.0 --kafka.server=*.*.*.77:8423 --kafka.server=*.*.*.78:8423 --kafka.server=*.*.*.79:8423 --kafka.server=*.*.*.80:8423 --kafka.server=*.*.*.81:8423 --sasl.enabled --sasl.username=user --sasl.password=md5(pwd)  --sasl.mechanism=scram-sha512 --log.enable-sarama  --web.listen-address=:19091 > /dev/null 2>&1  &

其中,kafka监控账号:user/pwd【md5(pwd)】 监听端口号:--web.listen-address=:19091 kafka_exporter

二、安装配置prometheus

在prometheus.yml配置文件添加以下配置

yaml 复制代码
scrape_configs:
  - job_name: "kafka"
    static_configs:
    - targets: ['localhost:19091']

使用sudo权限,后台执行Prometheus启动命令,并启用lifecycle功能,指定监听端口为9090

powershell 复制代码
sudo nohup ./prometheus --web.enable-lifecycle --web.listen-address=:9090 &

三、安装配置grafana

下载grafana

powershell 复制代码
wget https://dl.grafana.com/enterprise/release/grafana-enterprise-10.2.3-1.x86_64.rpm

安装grafana

powershell 复制代码
yum install grafana-enterprise-10.2.3-1.x86_64.rpm

powershell 复制代码
sudo yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-10.2.3-1.x86_64.rpm

启动grafana,默认端口3000

powershell 复制代码
systemctl start grafana-server.service

登录grafana

http://localhost:3000/dashboards amdin/admin

下载kafka监控模板

https://grafana.com/grafana/dashboards/7589-kafka-exporter-overview/

https://grafana.com/grafana/dashboards/11962-kafka-metrics/

配置普米数据源,导入模板即可显示监控信息;

相关推荐
喂完待续3 小时前
【Big Data】Apache Kafka 分布式流处理平台的实时处理实践与洞察
分布式·kafka·消息队列·big data·数据处理·序列晋升
迦蓝叶5 小时前
JAiRouter 配置文件重构纪实 ——基于单一职责原则的模块化拆分与内聚性提升
java·网关·ai·重构·openai·prometheus·单一职责原则
mask哥7 小时前
详解flink性能优化
java·大数据·微服务·性能优化·flink·kafka·stream
hqxstudying7 小时前
Kafka 深入研究:从架构革新到性能优化的全面解析
java·开发语言·微服务·kafka·springcloud
子非鱼@Itfuture15 小时前
【Kafka】Kafka使用场景用例&Kafka用例图
分布式·中间件·kafka
王嘉俊92516 小时前
深入浅出 全面剖析消息队列(Kafka,RabbitMQ,RocketMQ 等)
分布式·kafka·消息队列·rabbitmq·rocketmq
会飞的小蛮猪21 小时前
Jenkins运维之路(权限分配&忘记admin密码)
java·运维·经验分享·jenkins·prometheus
川石课堂软件测试1 天前
Oracle 数据库:视图与索引
数据库·网络协议·nginx·http·oracle·grafana·prometheus
码luffyliu1 天前
消息队列 :Kafka 核心要点总结
分布式·kafka·消息队列·mq
川石课堂软件测试2 天前
Oracle 数据库如何查询列
linux·数据库·sql·功能测试·oracle·grafana·prometheus