搭建ELK+Filebead+zookeeper+kafka实验

目录

[1.部署 Filebeat](#1.部署 Filebeat)

[2. Logstash配置](#2. Logstash配置)

3.浏览器kibana访问验证


主机名 ip地址 主要软件
es01 192.168.9.114 ElasticSearch
es02 192.168.9.115 ElasticSearch
es03 192.168.9.116 ElasticSearch、Kibana
nginx01 192.168.9.113 nginx、Logstash
NA 192.168.9.111 nginx、Filebeat
NA 192.168.9.210 Zookeeper、Kafka
NA 192.168.9.120 Zookeeper、Kafka
NA 192.168.9.140 Zookeeper、Kafka

ELK、Filebead、zookeeper、kafka搭建可查询之前博客

1.部署 Filebeat

复制代码
cd /usr/local/filebeat

vim filebeat.yml
注释162、164行内容
163行起添加
output.kafka:
  enabled: true
  hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"]  #指定 Kafka 集群配置
  topic: "nginx"    #指定 Kafka 的 topic

------------------------------------

浏览器访问filebeat,生成新日志数据

http://192.168.9.111/test.html、http://192.168.9.111/test1.html、http://192.168.9.111/

复制代码
启动 filebeat
./filebeat -e -c filebeat.yml

2. Logstash配置

复制代码
cd /etc/logstash/conf.d/
vim kafka.conf
input {
    kafka {
        bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
        topics => "nginx"
        type => "nginx_kafka"
        auto_offset_reset => "latest"
    }
}

#filter {}

output {
     elasticsearch {
          hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
          index => "nginx_kafka-%{+yyyy.MM.dd}"
     }
}



logstash -t -f kafka.conf
logstash -f kafka.conf

3.浏览器kibana访问验证

浏览器访问 http://192.168.9.116:5601 登录 Kibana,单击【管理】按钮【创建索引模式】,搜索【nginx_kafka-*】单击 【下一步】按钮创建,选择【@timestamp】 按钮,【创建索引模式】;可查看图表信息及日志信息。

相关推荐
一个尚在学习的计算机小白3 分钟前
RabbitMQ
分布式·rabbitmq
奥尔特星云大使28 分钟前
MySQL分布式架构:MyCat详解
数据库·分布式·mysql·mycat·高可用
安当加密4 小时前
智能合约在分布式密钥管理系统中的应用
分布式·智能合约
失散134 小时前
分布式专题——41 RocketMQ集群高级特性
java·分布式·架构·rocketmq
失散134 小时前
分布式专题——42 MQ常见问题梳理
java·分布式·架构
安当加密4 小时前
基于区块链的分布式密钥管理系统:构建去中心化、高可信的密码基础设施
分布式·去中心化·区块链
亿牛云爬虫专家4 小时前
优化分布式采集的数据同步:一致性、去重与冲突解决的那些坑与招
分布式·爬虫·数据采集·爬虫代理·代理ip·数据同步·房地产
心随雨下7 小时前
Redis中Geospatial 实际应用指南
数据库·redis·分布式·缓存
想你依然心痛9 小时前
Spark大数据分析与实战笔记(第六章 Kafka分布式发布订阅消息系统-01)
笔记·分布式·spark
故事很腻i9 小时前
安装kafka-2.5.1
分布式·kafka