elk+filebeat+kafka集群部署

EFK实验架构图:

实现高并发,无需指定logstash

bash 复制代码
3台es+file,3台kafka
20.0.0.10 es+file
20.0.0.20 es+file
20.0.0.30 es+file
20.0.0.11 kafka
20.0.0.12 kafka
20.0.0.13 kafka

在es1主机上解压filebeat
cd filebeat
安装nginx服务
vim /usr/local/nginx/html/index.html
this is nginx
到浏览器测试一下页面访问
cp filebeat.yml filebeat.yml.bak
#做一个备份
vim filebeat.yml
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log
    - /usr/local/nginx/logs/error.log
  tags: ["nginx"]
  fields:
    service_name: 20.0.0.10_nginx
    log_type: nginx
    from: 20.0.0.10

output.kafka:
  enabled: true
  hosts: ["20.0.0.11:9092","20.0.0.12:9092","20.0.0.13:9092"]
  topic: "nginx"
  
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#运行filebeat.yml
tail -f filebeat.out
#查看日志
在es1主机上配置logstash
cd /opt/log
vim kafka.conf
input {
  kafka {
    bootstrap_servers => "20.0.0.11:9092,20.0.0.12:9092,20.0.0.13:9092"
    topics => "nginx"
    type => "nginx_kafka"
    codec => "json"
    #解析json格式的代码
    auto_offset_reset => "earliest"
    #从头拉取,latest
    decorate_events => true
    #传递给es实例中的信息包含kafka的属性数据
    }
  }
output {
  if "nginx" in [tags] {
   elasticsearch {
     hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
     index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
   }
  }
}
配置完成

使用logstash拉起kafka.conf
logstash -f kafka.conf --path.data /opt/nginx1
启动后到web页面查看是否生成节点文件
生成节点文件后到kibana页面创建索引
访问nginx的页面后到kibana页面查看数据是否同步

时间同步成功,实验完成。

elk和kafka如何配置可以去我的首页搜索即可

相关推荐
Lansonli2 小时前
大数据Spark(六十九):Transformation转换算子intersection和subtract使用案例
大数据·分布式·spark
太阳伞下的阿呆2 小时前
kafka与zero-copy
分布式·kafka
没有bug.的程序员2 小时前
云原生与分布式架构的完美融合:从理论到生产实践
java·分布式·微服务·云原生·架构
JanelSirry3 小时前
分布式和微服务的区别是什么?
分布式·微服务·架构
Jabes.yang5 小时前
Java面试大作战:从缓存技术到音视频场景的探讨
java·spring boot·redis·缓存·kafka·spring security·oauth2
Mr_wilson_liu16 小时前
往kafka创建生产者和消费者,并且打数据和消费数据
kafka
SirLancelot117 小时前
MongoDB-基本介绍(一)基本概念、特点、适用场景、技术选型
java·数据库·分布式·后端·mongodb·软件工程·软件构建
koping_wu17 小时前
【Kafka】架构原理、消息丢失、重复消费、顺序消费、事务消息
分布式·架构·kafka
熊文豪17 小时前
Windows安装Apache Kafka保姆级教程(图文详解+可视化管理工具)
windows·kafka·apache
小醉你真好17 小时前
16、Docker Compose 安装Kafka(含Zookeeper)
docker·zookeeper·kafka