搭建ELK+Filebead+zookeeper+kafka实验

目录

[1.部署 Filebeat](#1.部署 Filebeat)

[2. Logstash配置](#2. Logstash配置)

3.浏览器kibana访问验证


主机名 ip地址 主要软件
es01 192.168.9.114 ElasticSearch
es02 192.168.9.115 ElasticSearch
es03 192.168.9.116 ElasticSearch、Kibana
nginx01 192.168.9.113 nginx、Logstash
NA 192.168.9.111 nginx、Filebeat
NA 192.168.9.210 Zookeeper、Kafka
NA 192.168.9.120 Zookeeper、Kafka
NA 192.168.9.140 Zookeeper、Kafka

ELK、Filebead、zookeeper、kafka搭建可查询之前博客

1.部署 Filebeat

复制代码
cd /usr/local/filebeat

vim filebeat.yml
注释162、164行内容
163行起添加
output.kafka:
  enabled: true
  hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"]  #指定 Kafka 集群配置
  topic: "nginx"    #指定 Kafka 的 topic

------------------------------------

浏览器访问filebeat,生成新日志数据

http://192.168.9.111/test.html、http://192.168.9.111/test1.html、http://192.168.9.111/

复制代码
启动 filebeat
./filebeat -e -c filebeat.yml

2. Logstash配置

复制代码
cd /etc/logstash/conf.d/
vim kafka.conf
input {
    kafka {
        bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
        topics => "nginx"
        type => "nginx_kafka"
        auto_offset_reset => "latest"
    }
}

#filter {}

output {
     elasticsearch {
          hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
          index => "nginx_kafka-%{+yyyy.MM.dd}"
     }
}



logstash -t -f kafka.conf
logstash -f kafka.conf

3.浏览器kibana访问验证

浏览器访问 http://192.168.9.116:5601 登录 Kibana,单击【管理】按钮【创建索引模式】,搜索【nginx_kafka-*】单击 【下一步】按钮创建,选择【@timestamp】 按钮,【创建索引模式】;可查看图表信息及日志信息。

相关推荐
深圳蔓延科技1 天前
Kafka的高性能之路
后端·kafka
努力的小郑1 天前
从一次分表实践谈起:我们真的需要复杂的分布式ID吗?
分布式·后端·面试
AAA修煤气灶刘哥2 天前
别让Redis「歪脖子」!一次搞定数据倾斜与请求倾斜的捉妖记
redis·分布式·后端
阿里云云原生2 天前
嘉银科技基于阿里云 Kafka Serverless 提升业务弹性能力,节省成本超过 20%
kafka·serverless
Aomnitrix2 天前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐2 天前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka
智能化咨询2 天前
Kafka架构:构建高吞吐量分布式消息系统的艺术——进阶优化与行业实践
分布式·架构·kafka
Chasing__Dreams2 天前
kafka--基础知识点--5.2--最多一次、至少一次、精确一次
分布式·kafka
在未来等你3 天前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试