Kafka-Eagle 安装

Kafka-Eagle官网

1)上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群第一台的/opt/modules 目录

2)解压到本地

复制代码
tar -zxvf kafka-eagle-bin-2.0.8.tar.gz

3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs

复制代码
cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 

4)修改名称

复制代码
mv efak-web-2.0.8/ efak 

5)修改配置文件 /opt/installs/efak/conf/system-config.properties

vi system-config.properties

修改如下:

offset 保存在 kafka

cluster1.efak.offset.storage=kafka

efak.zk.cluster.alias=cluster1,cluster2

cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

修改数据库连接:&serverTimezone=GMT 时区一定要写,否则报405错误!

127.0.0.1 = localhost hosts文件中定义的

efak.driver=com.mysql.cj.jdbc.Driver

efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT

efak.username=root

efak.password=123456

7)添加环境变量

复制代码
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin

注意:source /etc/profile

启动数据库:

复制代码
systemctl start mysqld    --启动
systemctl status mysqld   --查看状态

8 )启动

(1)注意:启动之前需要先启动 ZK 以及 KAFKA。

(2)启动 efak

复制代码
ke.sh start

说明:如果停止 efak,执行命令

bin/ke.sh stop

假如启动无法访问,怎么办?查看日志,必定有答案!!使用的时候,一定要在配置文件中编写正确的路径,否则kafka集群没办法连接:

复制代码
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

查看可视化大屏的时候:

复制代码
1、同步一下时间   systemctl restart chronyd
2、要开启消费者
3、要开发生产者
4、关闭flume (选项)
5、如果都没效果,可以添加一句话  在zkServer.sh 中
  ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
全部重启一下,这些服务

要想看到大屏数据,此处的JMX必须是上线状态:

假如你的 JMX 都是 offline,就添加端口:

第一步:kfc.sh stop

第二步:修改 kafka-server-start.sh 第一行添加export JMX_PORT=9999

第三步:分发一下 xsync.sh kafka-server-start.sh

第四步:kfc.sh start

稍等片刻,会出现正确的界面

登录页面查看监控数据

http://虚拟机的ip:8048/

相关推荐
晚霞的不甘13 小时前
CANN-MoE模型推理加速实战
人工智能·分布式·python
武子康16 小时前
Java-221 RocketMQ 消息存储核心原理:CommitLog、ConsumerQueue、IndexFile 与消息过滤机制
java·大数据·分布式·消息队列·rabbitmq·rocketmq·java-rocketmq
或与且与或非19 小时前
rabbitmq选举集群搭建
分布式·rabbitmq·ruby
无心水19 小时前
【分布式利器:金融级】金融级分布式架构开源框架全景解读
人工智能·分布式·金融·架构·开源·wpf·金融级框架
Swift社区20 小时前
分布式能力在鸿蒙 PC 上到底怎么用?
分布式·华为·harmonyos
Devin~Y20 小时前
大厂Java面试实战:Spring Boot微服务、Redis缓存、Kafka消息队列与Spring AI RAG
java·spring boot·redis·kafka·mybatis·spring mvc·hikaricp
无心水20 小时前
【分布式利器:SOAF】蚂蚁开源的金融级微服务全家桶:SOFAStack 核心架构与实战选型对比
人工智能·分布式·微服务·金融·架构·开源·分布式利器
深蓝电商API20 小时前
分布式电商爬虫架构:Scrapy-Redis+消息队列的集群部署
分布式·爬虫·架构
阿正的梦工坊20 小时前
RabbitMQ 消息队列详解:从原理到实战
分布式·rabbitmq
敖正炀1 天前
高并发系统的降级预案与容错策略
分布式·架构