搭建ELK+Filebead+zookeeper+kafka实验

部署 Zookeeper 集群

准备 3 台服务器做 Zookeeper 集群

192.168.10.17

192.168.10.21

192.168.10.22

1.安装前准备

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

setenforce 0

安装 JDK

yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

java -version

下载安装包

官方下载地址:https://archive.apache.org/dist/zookeeper/

2.安装 Zookeeper

修改配置文件

vim zoo.cfg

tickTime=2000 #通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒

initLimit=10 #Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量),这里表示为10*2s

syncLimit=5 #Leader和Follower之间同步通信的超时时间,这里表示如果超过5*2s,Leader认为Follwer死掉,并从服务器列表中删除Follwer

dataDir=/usr/local/zookeeper-3.5.7/data ●修改,指定保存Zookeeper中的数据的目录,目录需要单独创建

dataLogDir=/usr/local/zookeeper-3.5.7/logs ●添加,指定存放日志的目录,目录需要单独创建

clientPort=2181 #客户端连:接端口

#添加集群信息

server.1=192.168.88.50:3188:3288

server.2=192.168.88.60:3188:3288

server.3=192.168.88.70:3188:3288

拷贝配置好的 Zookeeper 配置文件到其他机器上

scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.88.60:/usr/local/zookeeper-3.5.7/conf/

scp /usr/local/zookeeper-3.5.7/conf/zoo.cfg 192.168.88.70:/usr/local/zookeeper-3.5.7/conf/ 因为用了全体输入的工具,这步可以省略

在每个节点上创建数据目录和日志目录

在每个节点的dataDir指定的目录下创建一个 myid 的文件 echo 1 > /usr/local/zookeeper-3.5.7/data/myid 50服务器myid为1

echo 2 > /usr/local/zookeeper-3.5.7/data/myid 60服务器myid为2

echo 3 > /usr/local/zookeeper-3.5.7/data/myid 70服务器myid为3

配置 Zookeeper 启动脚本

设置开机自启

分别启动 Zookeeper

查看当前状态

此时60为leader

安装 Kafka

修改配置文件

21行,broker的全局唯一编号,每个broker不能重复,因此要在其他机器上配置 broker.id=1、broker.id=2

listeners=PLAINTEXT://192.168.10.17:9092 ●31行,指定监听的IP和端口,如果修改每个broker的IP需区分开来,也可保持默认配置不用修改

log.dirs=/usr/local/kafka/logs #60行,kafka运行日志存放的路径,也是数据存放的路径

123行,配置连接Zookeeper集群地址

修改环境变量

配置 Zookeeper 启动脚本

设置开机自启

分别启动 Kafka

3.Kafka 命令行操作

//创建topic

查看当前服务器中的所有 topic

查看某个 topic 的详情

在50发布消息

在60或70消费消息

2.部署 Filebeat

#添加输出到 Kafka 的配置

output.kafka:

enabled: true

hosts: ["192.168.88.50:9092","192.168.88.60:9092","192.168.88.70:9092"] #指定 Kafka 集群配置

topic: "httpd" #指定 Kafka 的 topic

部署 Filebeat

刷新几下就会有日志进行传输

在logstash服务中进行操作30机器

相关推荐
WX187021128733 小时前
在分布式光伏电站如何进行电能质量的治理?
分布式
Stringzhua3 小时前
【SpringCloud】Kafka消息中间件
spring·spring cloud·kafka
不能再留遗憾了6 小时前
RabbitMQ 高级特性——消息分发
分布式·rabbitmq·ruby
茶馆大橘6 小时前
微服务系列六:分布式事务与seata
分布式·docker·微服务·nacos·seata·springcloud
材料苦逼不会梦到计算机白富美9 小时前
golang分布式缓存项目 Day 1
分布式·缓存·golang
想进大厂的小王9 小时前
项目架构介绍以及Spring cloud、redis、mq 等组件的基本认识
redis·分布式·后端·spring cloud·微服务·架构
Java 第一深情9 小时前
高性能分布式缓存Redis-数据管理与性能提升之道
redis·分布式·缓存
杨荧10 小时前
【JAVA毕业设计】基于Vue和SpringBoot的服装商城系统学科竞赛管理系统
java·开发语言·vue.js·spring boot·spring cloud·java-ee·kafka
ZHOU西口11 小时前
微服务实战系列之玩转Docker(十八)
分布式·docker·云原生·架构·数据安全·etcd·rbac
zmd-zk11 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka