Kafka入门-监控与可视化

Kafka监控

安装MySQL

首先确定没有安装过mysql

shell 复制代码
rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -ee --nodeps

下载mysql

shell 复制代码
wget --no-check-certificate http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

开始安装

shell 复制代码
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server --nogpgcheck

启动mysql

shell 复制代码
systemctl start mysqld.service

查看mysql初始密码

shell 复制代码
sudo cat /var/log/mysqld.log | grep password

利用初始密码登录mysql

shell 复制代码
mysql -uroot -p'xxx'

设置复杂密码

mysql 复制代码
set password=password("xxxXX8");

更改mysql密码策略

mysql 复制代码
set global validate_password_length=4;
set global validate_password_policy=0;

设置简单密码

mysql 复制代码
set password=password("000000");

进入mysql库

mysql 复制代码
use mysql;

查询user表

mysql 复制代码
select user, host from user;

修改user表,把host表内容改为%

mysql 复制代码
update user set host="%" where user="root";

刷新

mysql 复制代码
flush privileges;

Kafka环境准备

关闭Kafka

shell 复制代码
kf.sh stop

进入到安装目录下修改bin/kafka-server-start.sh文件

shell 复制代码
vim bin/kafka-server-start.sh

修改原有的参数

sh 复制代码
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

sh 复制代码
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G -XX:PermSize=128m	-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi

分发修改好的文件

shell 复制代码
xsync kafka-server-start.sh

启动kafka

shell 复制代码
kf.sh start

安装Kafka-Eagle

首先到官网下载安装包

https://www.kafka-eagle.org/

将安装包放入虚拟机中,并解压

shell 复制代码
 tar -zxvf kafka-eagle-bin-3.0.1.tar.gz 

进入解压后的文件夹,发现里面又是一个压缩包

shell 复制代码
[root@centos101 kafka-eagle-bin-3.0.1]# ls
efak-web-3.0.1-bin.tar.gz

将这个压缩包再次解压

shell 复制代码
tar -zxvf efak-web-3.0.1-bin.tar.gz 

进入解压后的文件内修改配置文件conf/system-config.properties

shell 复制代码
vim system-config.properties

修改

properties 复制代码
efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

properties 复制代码
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.27.101:2181,192.168.27.102:2181,192.168.27.103:2181/kafka

注释掉这行代码

properties 复制代码
#cluster2.efak.offset.storage=zk

配置mysql

properties 复制代码
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=000000

配置环境变量

shell 复制代码
vim /etc/profile.d/my_env.sh
sh 复制代码
#KAFKA_EFAK
export KE_HOME=/mydata/kafka/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin

执行source操作

shell 复制代码
source /etc/profile

启动efak,在安装目录下执行命令

shell 复制代码
bin/ke.sh start

浏览器访问页面,用提示的账户和密码登录进去,就可以访问到主页面

可以可视化的查看kafka内的信息

相关推荐
liulilittle2 小时前
C++ TAP(基于任务的异步编程模式)
服务器·开发语言·网络·c++·分布式·任务·tap
码字的字节2 小时前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
武子康4 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
itLaity9 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
qq_529835359 小时前
Zookeeper的简单了解
分布式·zookeeper·云原生
smileNicky11 小时前
RabbitMQ有多少种Exchange?
分布式·rabbitmq
你我约定有三11 小时前
RabbitMQ--消息丢失问题及解决
java·开发语言·分布式·后端·rabbitmq·ruby
Java初学者小白11 小时前
秋招Day19 - 分布式 - 分布式事务
java·分布式
程序员小羊!13 小时前
Zookeeper 3.6.3【详细技术讲解】整
分布式·zookeeper·云原生
是2的10次方啊15 小时前
微信公众号阅读量为什么会不一致?一文读懂分布式系统的那些事儿
分布式