Kafka-Eagle 安装

Kafka-Eagle官网

1)上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群第一台的/opt/modules 目录

2)解压到本地

复制代码
tar -zxvf kafka-eagle-bin-2.0.8.tar.gz

3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs

复制代码
cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 

4)修改名称

复制代码
mv efak-web-2.0.8/ efak 

5)修改配置文件 /opt/installs/efak/conf/system-config.properties

vi system-config.properties

修改如下:

offset 保存在 kafka

cluster1.efak.offset.storage=kafka

efak.zk.cluster.alias=cluster1,cluster2

cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

修改数据库连接:&serverTimezone=GMT 时区一定要写,否则报405错误!

127.0.0.1 = localhost hosts文件中定义的

efak.driver=com.mysql.cj.jdbc.Driver

efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT

efak.username=root

efak.password=123456

7)添加环境变量

复制代码
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin

注意:source /etc/profile

启动数据库:

复制代码
systemctl start mysqld    --启动
systemctl status mysqld   --查看状态

8 )启动

(1)注意:启动之前需要先启动 ZK 以及 KAFKA。

(2)启动 efak

复制代码
ke.sh start

说明:如果停止 efak,执行命令

bin/ke.sh stop

假如启动无法访问,怎么办?查看日志,必定有答案!!使用的时候,一定要在配置文件中编写正确的路径,否则kafka集群没办法连接:

复制代码
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

查看可视化大屏的时候:

复制代码
1、同步一下时间   systemctl restart chronyd
2、要开启消费者
3、要开发生产者
4、关闭flume (选项)
5、如果都没效果,可以添加一句话  在zkServer.sh 中
  ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
全部重启一下,这些服务

要想看到大屏数据,此处的JMX必须是上线状态:

假如你的 JMX 都是 offline,就添加端口:

第一步:kfc.sh stop

第二步:修改 kafka-server-start.sh 第一行添加export JMX_PORT=9999

第三步:分发一下 xsync.sh kafka-server-start.sh

第四步:kfc.sh start

稍等片刻,会出现正确的界面

登录页面查看监控数据

http://虚拟机的ip:8048/

相关推荐
juniperhan1 小时前
Flink 系列第12篇:Flink 维表关联详解
大数据·数据仓库·分布式·flink
Evand J3 小时前
【雷达跟踪代码介绍】基于matlab卡尔曼滤波器雷达多目标跟踪(双雷达 多目标 分布式融合)
分布式·matlab·目标跟踪·多目标跟踪·雷达跟踪
indexsunny4 小时前
互联网大厂Java面试实录:微服务+Spring Boot在电商场景中的应用
java·spring boot·redis·微服务·eureka·kafka·spring security
Jackyzhe5 小时前
从零学习Kafka:ZooKeeper vs KRaft
学习·zookeeper·kafka
zz0723205 小时前
Seata ——微服务分布式事务
分布式·微服务·架构·seata
工作log6 小时前
从零搭建 ELK + Kafka 日志收集系统(Spring Boot + Logback 直连 Kafka)
spring boot·elk·kafka
小江的记录本6 小时前
【分布式】分布式系统核心知识体系:CAP定理、BASE理论与核心挑战
java·前端·网络·分布式·后端·python·安全
QC·Rex6 小时前
消息队列架构设计 - Kafka/RocketMQ/RabbitMQ 深度对比与实战
kafka·rabbitmq·rocketmq
Roselind_Yi6 小时前
云计算实验实操|Hadoop伪分布式部署+MapReduce编程实践(超详细图文版)
大数据·hadoop·经验分享·笔记·分布式·数据挖掘·云计算