搭建ELK+Filebead+zookeeper+kafka实验

目录

[1.部署 Filebeat](#1.部署 Filebeat)

[2. Logstash配置](#2. Logstash配置)

3.浏览器kibana访问验证


主机名 ip地址 主要软件
es01 192.168.9.114 ElasticSearch
es02 192.168.9.115 ElasticSearch
es03 192.168.9.116 ElasticSearch、Kibana
nginx01 192.168.9.113 nginx、Logstash
NA 192.168.9.111 nginx、Filebeat
NA 192.168.9.210 Zookeeper、Kafka
NA 192.168.9.120 Zookeeper、Kafka
NA 192.168.9.140 Zookeeper、Kafka

ELK、Filebead、zookeeper、kafka搭建可查询之前博客

1.部署 Filebeat

cd /usr/local/filebeat

vim filebeat.yml
注释162、164行内容
163行起添加
output.kafka:
  enabled: true
  hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"]  #指定 Kafka 集群配置
  topic: "nginx"    #指定 Kafka 的 topic

------------------------------------

浏览器访问filebeat,生成新日志数据

http://192.168.9.111/test.html、http://192.168.9.111/test1.html、http://192.168.9.111/

启动 filebeat
./filebeat -e -c filebeat.yml

2. Logstash配置

cd /etc/logstash/conf.d/
vim kafka.conf
input {
    kafka {
        bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
        topics => "nginx"
        type => "nginx_kafka"
        auto_offset_reset => "latest"
    }
}

#filter {}

output {
     elasticsearch {
          hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
          index => "nginx_kafka-%{+yyyy.MM.dd}"
     }
}



logstash -t -f kafka.conf
logstash -f kafka.conf

3.浏览器kibana访问验证

浏览器访问 http://192.168.9.116:5601 登录 Kibana,单击【管理】按钮【创建索引模式】,搜索【nginx_kafka-*】单击 【下一步】按钮创建,选择【@timestamp】 按钮,【创建索引模式】;可查看图表信息及日志信息。

相关推荐
技术路上的苦行僧2 小时前
分布式专题(10)之ShardingSphere分库分表实战指南
分布式·shardingsphere·分库分表
GitCode官方2 小时前
GitCode 光引计划投稿 | GoIoT:开源分布式物联网开发平台
分布式·开源·gitcode
小扳4 小时前
微服务篇-深入了解 MinIO 文件服务器(你还在使用阿里云 0SS 对象存储图片服务?教你使用 MinIO 文件服务器:实现从部署到具体使用)
java·服务器·分布式·微服务·云原生·架构
zquwei13 小时前
SpringCloudGateway+Nacos注册与转发Netty+WebSocket
java·网络·分布式·后端·websocket·网络协议·spring
道一云黑板报17 小时前
Flink集群批作业实践:七析BI批作业执行
大数据·分布式·数据分析·flink·kubernetes
qq_54702617917 小时前
Kafka 常见问题
kafka
core51217 小时前
flink sink kafka
flink·kafka·sink
飞来又飞去18 小时前
kafka sasl和acl之间的关系
分布式·kafka
MZWeiei19 小时前
Zookeeper的监听机制
分布式·zookeeper
莹雨潇潇19 小时前
Hadoop完全分布式环境部署
大数据·hadoop·分布式