搭建ELK+Filebead+zookeeper+kafka实验

DDD5852024-07-09 9:37

[1.部署 Filebeat](#1.部署 Filebeat)

[2. Logstash配置](#2. Logstash配置)

主机名	ip地址	主要软件
es01	192.168.9.114	ElasticSearch
es02	192.168.9.115	ElasticSearch
es03	192.168.9.116	ElasticSearch、Kibana
nginx01	192.168.9.113	nginx、Logstash
NA	192.168.9.111	nginx、Filebeat
NA	192.168.9.210	Zookeeper、Kafka
NA	192.168.9.120	Zookeeper、Kafka
NA	192.168.9.140	Zookeeper、Kafka

ELK、Filebead、zookeeper、kafka搭建可查询之前博客

1.部署 Filebeat

复制代码

cd /usr/local/filebeat

vim filebeat.yml
注释162、164行内容
163行起添加
output.kafka:
  enabled: true
  hosts: ["192.168.9.210:9092","192.168.9.120","192.168.9.140"]  #指定 Kafka 集群配置
  topic: "nginx"    #指定 Kafka 的 topic

------------------------------------

浏览器访问filebeat，生成新日志数据

（http://192.168.9.111/test.html、http://192.168.9.111/test1.html、http://192.168.9.111/）

复制代码

启动 filebeat
./filebeat -e -c filebeat.yml

2. Logstash配置

复制代码

cd /etc/logstash/conf.d/
vim kafka.conf
input {
    kafka {
        bootstrap_server => "192.168.9.210:9092,192.168.9.120:9092,192.168.9.140:9092"
        topics => "nginx"
        type => "nginx_kafka"
        auto_offset_reset => "latest"
    }
}

#filter {}

output {
     elasticsearch {
          hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
          index => "nginx_kafka-%{+yyyy.MM.dd}"
     }
}



logstash -t -f kafka.conf
logstash -f kafka.conf

3.浏览器kibana访问验证

浏览器访问 http://192.168.9.116:5601 登录 Kibana，单击【管理】按钮【创建索引模式】，搜索【nginx_kafka-*】单击【下一步】按钮创建，选择【@timestamp】按钮，【创建索引模式】；可查看图表信息及日志信息。