Kafka入门-监控与可视化

Kafka监控

安装MySQL

首先确定没有安装过mysql

shell 复制代码
rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -ee --nodeps

下载mysql

shell 复制代码
wget --no-check-certificate http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

开始安装

shell 复制代码
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server --nogpgcheck

启动mysql

shell 复制代码
systemctl start mysqld.service

查看mysql初始密码

shell 复制代码
sudo cat /var/log/mysqld.log | grep password

利用初始密码登录mysql

shell 复制代码
mysql -uroot -p'xxx'

设置复杂密码

mysql 复制代码
set password=password("xxxXX8");

更改mysql密码策略

mysql 复制代码
set global validate_password_length=4;
set global validate_password_policy=0;

设置简单密码

mysql 复制代码
set password=password("000000");

进入mysql库

mysql 复制代码
use mysql;

查询user表

mysql 复制代码
select user, host from user;

修改user表,把host表内容改为%

mysql 复制代码
update user set host="%" where user="root";

刷新

mysql 复制代码
flush privileges;

Kafka环境准备

关闭Kafka

shell 复制代码
kf.sh stop

进入到安装目录下修改bin/kafka-server-start.sh文件

shell 复制代码
vim bin/kafka-server-start.sh

修改原有的参数

sh 复制代码
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

为

sh 复制代码
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G -XX:PermSize=128m	-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi

分发修改好的文件

shell 复制代码
xsync kafka-server-start.sh

启动kafka

shell 复制代码
kf.sh start

安装Kafka-Eagle

首先到官网下载安装包

https://www.kafka-eagle.org/

将安装包放入虚拟机中,并解压

shell 复制代码
 tar -zxvf kafka-eagle-bin-3.0.1.tar.gz 

进入解压后的文件夹,发现里面又是一个压缩包

shell 复制代码
[root@centos101 kafka-eagle-bin-3.0.1]# ls
efak-web-3.0.1-bin.tar.gz

将这个压缩包再次解压

shell 复制代码
tar -zxvf efak-web-3.0.1-bin.tar.gz 

进入解压后的文件内修改配置文件conf/system-config.properties

shell 复制代码
vim system-config.properties

修改

properties 复制代码
efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

为

properties 复制代码
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.27.101:2181,192.168.27.102:2181,192.168.27.103:2181/kafka

注释掉这行代码

properties 复制代码
#cluster2.efak.offset.storage=zk

配置mysql

properties 复制代码
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=000000

配置环境变量

shell 复制代码
vim /etc/profile.d/my_env.sh
sh 复制代码
#KAFKA_EFAK
export KE_HOME=/mydata/kafka/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin

执行source操作

shell 复制代码
source /etc/profile

启动efak,在安装目录下执行命令

shell 复制代码
bin/ke.sh start

浏览器访问页面,用提示的账户和密码登录进去,就可以访问到主页面

可以可视化的查看kafka内的信息

相关推荐
Lansonli16 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
bksczm1 天前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh1 天前
RabbitMQ安装
分布式·rabbitmq
用户3610588626121 天前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
AI源码2 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou3 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯3 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence3 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626123 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi4 天前
Kafka消息中间件单机版安装配置
分布式·kafka