搭建ELK+Filebead+zookeeper+kafka实验

部署 Zookeeper 集群

准备 3 台服务器做 Zookeeper 集群

192.168.10.17

192.168.10.21

192.168.10.22

1.安装前准备

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

setenforce 0

安装 JDK

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

java -version

下载安装包

官方下载地址:https://archive.apache.org/dist/zookeeper/

2.安装 Zookeeper

修改配置文件

vim zoo.cfg

tickTime=2000 #通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒

initLimit=10 #Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量),这里表示为10*2s

syncLimit=5 #Leader和Follower之间同步通信的超时时间,这里表示如果超过5*2s,Leader认为Follwer死掉,并从服务器列表中删除Follwer

dataDir=/usr/local/zookeeper-3.5.7/data ●修改,指定保存Zookeeper中的数据的目录,目录需要单独创建

dataLogDir=/usr/local/zookeeper-3.5.7/logs ●添加,指定存放日志的目录,目录需要单独创建

clientPort=2181 #客户端连:接端口

#添加集群信息

server.1=192.168.88.50:3188:3288

server.2=192.168.88.60:3188:3288

server.3=192.168.88.70:3188:3288

拷贝配置好的 Zookeeper 配置文件到其他机器上

scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.88.60:/usr/local/zookeeper-3.5.7/conf/

scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.88.70:/usr/local/zookeeper-3.5.7/conf/ 因为用了全体输入的工具,这步可以省略

在每个节点上创建数据目录和日志目录

在每个节点的dataDir指定的目录下创建一个 myid 的文件 echo 1 > /usr/local/zookeeper-3.5.7/data/myid 50服务器myid为1

echo 2 > /usr/local/zookeeper-3.5.7/data/myid 60服务器myid为2

echo 3 > /usr/local/zookeeper-3.5.7/data/myid 70服务器myid为3

配置 Zookeeper 启动脚本

设置开机自启

分别启动 Zookeeper

查看当前状态

此时60为leader

安装 Kafka

修改配置文件

21行,broker的全局唯一编号,每个broker不能重复,因此要在其他机器上配置 broker.id=1、broker.id=2

listeners=PLAINTEXT://192.168.10.17:9092 ●31行,指定监听的IP和端口,如果修改每个broker的IP需区分开来,也可保持默认配置不用修改

log.dirs=/usr/local/kafka/logs #60行,kafka运行日志存放的路径,也是数据存放的路径

123行,配置连接Zookeeper集群地址

修改环境变量

配置 Zookeeper 启动脚本

设置开机自启

分别启动 Kafka

3.Kafka 命令行操作

//创建topic

查看当前服务器中的所有 topic

查看某个 topic 的详情

在50发布消息

在60或70消费消息

2.部署 Filebeat

#添加输出到 Kafka 的配置

output.kafka:

enabled: true

hosts: ["192.168.88.50:9092","192.168.88.60:9092","192.168.88.70:9092"] #指定 Kafka 集群配置

topic: "httpd" #指定 Kafka 的 topic

部署 Filebeat

刷新几下就会有日志进行传输

在logstash服务中进行操作30机器

相关推荐
喜悦1518 分钟前
RabbitMQ
分布式·rabbitmq
Lostgreen23 分钟前
SQL on Hadoop
数据库·hadoop·笔记·分布式·sql·学习
一條狗3 小时前
随笔20241126 Kafka 消费者的自动提交与手动提交偏移量详解
分布式·kafka
运维&陈同学3 小时前
【kafka01】消息队列与微服务之Kafka详解
运维·分布式·后端·微服务·云原生·容器·架构·kafka
Mr.朱鹏3 小时前
设计模式之策略模式-工作实战总结与实现
java·spring·设计模式·kafka·maven·策略模式·springbbot
楚疏笃4 小时前
鸿蒙学习自由流转与分布式运行环境-跨端迁移(2)
分布式·学习·harmonyos
哼了个哈5 小时前
daos源码编译
分布式
Lostgreen5 小时前
分布式查询处理优化之数据分片
大数据·笔记·分布式
孙克旭_7 小时前
第五章 RabbitMQ高级
分布式·rabbitmq
Mr.Demo.9 小时前
[RabbitMQ] 保证消息可靠性的三大机制------消息确认,持久化,发送方确认
分布式·rabbitmq