Kafka-Eagle 安装

Kafka-Eagle官网

1)上传压缩包 kafka-eagle-bin-2.0.8.tar.gz 到集群第一台的/opt/modules 目录

2)解压到本地

复制代码
tar -zxvf kafka-eagle-bin-2.0.8.tar.gz

3)将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs

复制代码
cd kafka-eagle-bin-2.0.8
tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 

4)修改名称

复制代码
mv efak-web-2.0.8/ efak 

5)修改配置文件 /opt/installs/efak/conf/system-config.properties

vi system-config.properties

修改如下:

offset 保存在 kafka

cluster1.efak.offset.storage=kafka

efak.zk.cluster.alias=cluster1,cluster2

cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

修改数据库连接:&serverTimezone=GMT 时区一定要写,否则报405错误!

127.0.0.1 = localhost hosts文件中定义的

efak.driver=com.mysql.cj.jdbc.Driver

efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT

efak.username=root

efak.password=123456

7)添加环境变量

复制代码
# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/bin

注意:source /etc/profile

启动数据库:

复制代码
systemctl start mysqld    --启动
systemctl status mysqld   --查看状态

8 )启动

(1)注意:启动之前需要先启动 ZK 以及 KAFKA。

(2)启动 efak

复制代码
ke.sh start

说明:如果停止 efak,执行命令

bin/ke.sh stop

假如启动无法访问,怎么办?查看日志,必定有答案!!使用的时候,一定要在配置文件中编写正确的路径,否则kafka集群没办法连接:

复制代码
cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

查看可视化大屏的时候:

复制代码
1、同步一下时间   systemctl restart chronyd
2、要开启消费者
3、要开发生产者
4、关闭flume (选项)
5、如果都没效果,可以添加一句话  在zkServer.sh 中
  ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
全部重启一下,这些服务

要想看到大屏数据,此处的JMX必须是上线状态:

假如你的 JMX 都是 offline,就添加端口:

第一步:kfc.sh stop

第二步:修改 kafka-server-start.sh 第一行添加export JMX_PORT=9999

第三步:分发一下 xsync.sh kafka-server-start.sh

第四步:kfc.sh start

稍等片刻,会出现正确的界面

登录页面查看监控数据

http://虚拟机的ip:8048/

相关推荐
一晌小贪欢3 小时前
Python爬虫第10课:分布式爬虫架构与Scrapy-Redis
分布式·爬虫·python·网络爬虫·python爬虫·python3
摇滚侠7 小时前
Spring Boot3零基础教程,监听 Kafka 消息,笔记78
spring boot·笔记·kafka
摇滚侠10 小时前
Spring Boot3零基础教程,Kafka 小结,笔记79
spring boot·笔记·kafka
沐浴露z11 小时前
一篇文章详解Kafka Broker
java·分布式·kafka
pythonpioneer13 小时前
Ray Tune 强大的分布式超参数调优框架
分布式·其他
笨蛋少年派13 小时前
Hadoop High Availability 简介
大数据·hadoop·分布式
一只小透明啊啊啊啊15 小时前
Java电商项目中的概念: 高并发、分布式、高可用、微服务、海量数据处理
java·分布式·微服务
兜兜风d'1 天前
RabbitMQ 七种工作模式全解析
分布式·rabbitmq
ErizJ1 天前
IM|im-service
golang·kafka·go·im·心跳检测
沐浴露z1 天前
Kafka 生产者详解(上):消息发送流程与API,分区,吞吐量与数据可靠性
java·kafka·消息队列