一、ELK+Filebeat+kafka+zookeeper架构

架构图分别演示
第一层:数据采集层
- 数据采集层位于最左边的业务服务集群上,在每个业务服务器上面安装了filebead做日志收集,然后把采集到的原始日志发送到kafka+zookeeper集群上。
第二层:消息队列层
- 原始日志发送到kafka+zookeeper集群上后,会进行集中存储,此时filebead是消息的生产者,存储的消息可以随时被消费。
第三层:数据分析层
- logstash作为消费者,回去kafka+zookeeper集群节点时实拉去原始日志,然后将获取到的原始日志根据规则进行分析、格式化处理,最后将格式化的日志转发至Elasticsearch集群中。
第四层:数据持久化存储
- Elasticsearch集群接收到logstash发送过来的数据后,执行写入磁盘,建立索引等操作,最后将结构化数据存储到Elasticsearch集群上。
第五层:数据查询,展示层
- kibana是一个可视化的数据展示平台,当有数据检索请求时,它从Elasticsearch集群上读取数据,然后进行可视化出图和多维度分析.
二、搭建ELFK+zookeeper+kafka
主机名 | ip地址 | 所属集群 | 安装软件包 |
---|---|---|---|
filebead | 20.0.0.55 | 数据层级层 | filebead+apache |
kafka1 | 20.0.0.56 | kafka+zookeeper集群 | kafka+zookeeper |
kafka2 | 20.0.0.57 | kafka+zookeeper集群 | kafka+zookeeper |
kafka3 | 20.0.0.58 | kafka+zookeeper集群 | kafka+zookeeper |
logstash | 20.0.0.59 | 数据处理层 | logstash |
node1 | 20.0.0.60 | ES集群 | Eslasticsearch+node+phantomis+head |
node2 | 20.0.0.61 | ES集群+kibana展示 | Elasticsearch+node+phantomis+head+kibana |
1、安装kafka+zookeeper集群(20.0.0.55、20.0.0.56、20.0.0.57)
2、安装zookeeper服务
关闭防火墙,核心防护,修改主机名

安装环境,解压软件

修改配置文件

创建数据目录、日志目录

设置三台机器的myid

设置三台机器的执行脚本

将三台机器的启动脚本放入到系统管理中

分别启动三台启动的zookeeper



3、安装kafka服务
将三台机器都上传安装包,并解压到指定目录

备份配置文件

修改配置文件
- 20.0.0.55主机的配置文件



20.0.0.56的配置文件



20.0.0.57配置文件


将kafka添加到环境变量中

配置kafka 的启动脚本

设置开机自动

分别启动kafka

3.1 kafka命令行操作
创建topic
kafka-topics.sh --create --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181 --replication-factor 2 --partitions 3 --topic test
#--zookeeper:定义zookeeper集群服务器地址,如果有多个ip以逗号分隔。
#--replication-factor:定义分区副本,1代表但副本,建议为2
#--partitions: 定义分区数
#--topic :定义topic名称
查看当前服务器中的所有topic
kafka-topics.sh --list --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181
查看某个topic的详情
kafka-topics.sh --describe --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181
发布消息
kafka-console-producer.sh --broker-list 20.0.0.55:9092,20.0.0.56:9092,20.0.0.57:9092 --topic test
消费消息
kafka-console-consumer.sh --bootstrap-server 20.0.0.55:9092,20.0.0.56:9092,20.0.0.57:9092 --topic test --from-beginning
#--from-beginning:会把主题中以往所有的数据都读取出来
修改分区数
kafka-topics.sh --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181 --alter --topic test --partitions 6
删除topic
kafka-topics.sh --delete --zookeeper 20.0.0.55:2181,20.0.0.56:2181,20.0.0.57:2181 --topic test
3.2 创建topic进行测试(任意主机上均可操作)
创建topic

发布消息、消费消息

3、配置数据采集层filebead(20.0.0.58)
关闭防火墙、修改主机名
安装httpd服务,并启动

安装filebead,并剪切到指定目录

修改配置文件



启动filebeat服务


4、部署ES服务(20.0.0.60、20.0.0.61)
安装JDK

4.1 安装ES服务
配置本地解析,上传安装包安装并启动

修改配置文件



查看配置文件,创建数据目录

4.2 安装node插件
安装运行环境

编译

安装

4.3 安装phantomjs插件
上传压缩包解压

将执行文件加入到环境变量

4.4 安装ES-head
上传压缩包,解压

安装

4.5 修改ES配置文件


4.6 启动ES服务

4.7 启动ES-head服务

5、部署logstash(20.0.0.59)
安装java环境

安装logstash

创建软链接

创建执行对接文件

启动服务

6、使用ES-head接口访问

7、安装kibana指向可视化
这边不演示了,参考前面的博客