搭建ELK+Filebead+zookeeper+kafka实验

目录

[1.部署 Filebeat](#1.部署 Filebeat)

[2. Logstash配置](#2. Logstash配置)

3.浏览器kibana访问验证


主机名 ip地址 主要软件
es01 192.168.9.114 ElasticSearch
es02 192.168.9.115 ElasticSearch
es03 192.168.9.116 ElasticSearch、Kibana
nginx01 192.168.9.113 nginx、Logstash
NA 192.168.9.111 nginx、Filebeat
NA 192.168.9.210 Zookeeper、Kafka
NA 192.168.9.120 Zookeeper、Kafka
NA 192.168.9.140 Zookeeper、Kafka

ELK、Filebead、zookeeper、kafka搭建可查询之前博客

1.部署 Filebeat

复制代码
cd /usr/local/filebeat

vim filebeat.yml
注释162、164行内容
163行起添加
output.kafka:
  enabled: true
  hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"]  #指定 Kafka 集群配置
  topic: "nginx"    #指定 Kafka 的 topic

------------------------------------

浏览器访问filebeat,生成新日志数据

http://192.168.9.111/test.html、http://192.168.9.111/test1.html、http://192.168.9.111/

复制代码
启动 filebeat
./filebeat -e -c filebeat.yml

2. Logstash配置

复制代码
cd /etc/logstash/conf.d/
vim kafka.conf
input {
    kafka {
        bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
        topics => "nginx"
        type => "nginx_kafka"
        auto_offset_reset => "latest"
    }
}

#filter {}

output {
     elasticsearch {
          hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
          index => "nginx_kafka-%{+yyyy.MM.dd}"
     }
}



logstash -t -f kafka.conf
logstash -f kafka.conf

3.浏览器kibana访问验证

浏览器访问 http://192.168.9.116:5601 登录 Kibana,单击【管理】按钮【创建索引模式】,搜索【nginx_kafka-*】单击 【下一步】按钮创建,选择【@timestamp】 按钮,【创建索引模式】;可查看图表信息及日志信息。

相关推荐
摇滚侠2 小时前
Spring Boot3零基础教程,Kafka 小结,笔记79
spring boot·笔记·kafka
沐浴露z3 小时前
一篇文章详解Kafka Broker
java·分布式·kafka
Gss7774 小时前
ELK 日志分析平台核心组件部署与日志收集指南
运维·elk
半梦半醒*4 小时前
ELK2——logstash
linux·运维·elk·elasticsearch·centos·1024程序员节
会飞的小蛮猪4 小时前
ELK运维之路(Logstash-插件)
运维·经验分享·elk·elasticsearch·logstash
CodeAmaz4 小时前
ELK(Elasticsearch + Logstash + Kibana + Filebeat)采集方案
java·elk·elasticsearch·1024程序员节
pythonpioneer5 小时前
Ray Tune 强大的分布式超参数调优框架
分布式·其他
笨蛋少年派5 小时前
Hadoop High Availability 简介
大数据·hadoop·分布式
神秘人X7076 小时前
ELK Stack实战:Kibana与Filebeat部署指南
elk