ELK+filebeat+kafka

复制代码
nohup ./filebeat -e -c filebeat.yml > filebeat.out &

tail -f filebeat.out

cd /etc/logstash/conf.d
vim kafka.conf


input {
  kafka {
    bootstrap_servers => "192.168.233.10:9092,192.168.233.20:9092,192.168.233.30:9092"
    topics => "nginx"
    type => "nginx_kafka"
    codec => "json"
    auto_offset_reset => "earliest"
    decorate_events => true
  }
}

output {
  if "nginx" in [tags] {
    elasticsearch {
       hosts => ["192.168.233.12:9200","192.168.233.13:9200"]
       index => "%{[fields][service_name]-%{+YYYY.MM.dd}}"
    }
  }
}

wq

codec => "json" 解析json格式的代码 auto_offset_reset => "earliest" 从头拉去,latest decorate_events => true 传递给es实例中的信息包含kafka的属性数据

test2

相关推荐
柳贯一(逆流河版)1 天前
Redis 分布式锁实战:解决马拉松报名并发冲突与 Lua 原子性优化
redis·分布式·lua
小醉你真好1 天前
Spring Boot + Kafka 全面实战案例
spring boot·kafka·linq
ajax_beijing1 天前
hadoop的三副本数据冗余策略
大数据·hadoop·分布式
失散131 天前
分布式专题——46 ElasticSearch高级查询语法Query DSL实战
java·分布式·elasticsearch·架构
沉默终止1 天前
Kafka Queue: 如何严格控制消息数量
kafka
没有bug.的程序员1 天前
分布式链路追踪:微服务可观测性的核心支柱
java·分布式·微服务·架构·wpf
C.R.xing1 天前
Pyspark分布式访问NebulaGraph图数据库
数据库·分布式·python·pyspark·nebulagraph
AutoMQ1 天前
重磅发布|AutoMQ v1.6.0 开源版:Kafka 成本直降 17 倍,原生支持 Strimzi 与 Iceberg
云原生·kafka
koping_wu2 天前
【RabbitMQ】架构原理、消息丢失、重复消费、顺序消费、事务消息
分布式·架构·rabbitmq
吹晚风吧2 天前
从0开始了解kafka《第二篇 kafka的安装、管理和配置》
kafka·kafka配置