elk+filebeat+kafka集群部署

EFK实验架构图:

实现高并发,无需指定logstash

bash 复制代码
3台es+file,3台kafka
20.0.0.10 es+file
20.0.0.20 es+file
20.0.0.30 es+file
20.0.0.11 kafka
20.0.0.12 kafka
20.0.0.13 kafka

在es1主机上解压filebeat
cd filebeat
安装nginx服务
vim /usr/local/nginx/html/index.html
this is nginx
到浏览器测试一下页面访问
cp filebeat.yml filebeat.yml.bak
#做一个备份
vim filebeat.yml
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log
    - /usr/local/nginx/logs/error.log
  tags: ["nginx"]
  fields:
    service_name: 20.0.0.10_nginx
    log_type: nginx
    from: 20.0.0.10

output.kafka:
  enabled: true
  hosts: ["20.0.0.11:9092","20.0.0.12:9092","20.0.0.13:9092"]
  topic: "nginx"
  
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#运行filebeat.yml
tail -f filebeat.out
#查看日志
在es1主机上配置logstash
cd /opt/log
vim kafka.conf
input {
  kafka {
    bootstrap_servers => "20.0.0.11:9092,20.0.0.12:9092,20.0.0.13:9092"
    topics => "nginx"
    type => "nginx_kafka"
    codec => "json"
    #解析json格式的代码
    auto_offset_reset => "earliest"
    #从头拉取,latest
    decorate_events => true
    #传递给es实例中的信息包含kafka的属性数据
    }
  }
output {
  if "nginx" in [tags] {
   elasticsearch {
     hosts => ["20.0.0.20:9200","20.0.0.30:9200"]
     index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
   }
  }
}
配置完成

使用logstash拉起kafka.conf
logstash -f kafka.conf --path.data /opt/nginx1
启动后到web页面查看是否生成节点文件
生成节点文件后到kibana页面创建索引
访问nginx的页面后到kibana页面查看数据是否同步

时间同步成功,实验完成。

elk和kafka如何配置可以去我的首页搜索即可

相关推荐
2401_831501731 小时前
Linux之Zabbix分布式监控篇(二)
数据库·分布式·zabbix
cui_win9 小时前
Kafka 配置参数详解:ZooKeeper 模式与 KRaft 模式对比
分布式·zookeeper·kafka
liux352812 小时前
Zabbix 分布式监控系统架构设计与优化
分布式·zabbix
cui_win13 小时前
深入理解 Kafka 核心:主题、分区与副本的协同机制
网络·分布式·kafka
淦暴尼14 小时前
基于spark的二手房数据分析可视化系统
大数据·分布式·数据分析·spark
黄雪超16 小时前
Kafka——无消息丢失配置怎么实现?
大数据·分布式·kafka
livemetee17 小时前
springboot 整合spring-kafka客户端:SASL_SSL+PLAINTEXT方式
spring boot·spring·kafka
无问81718 小时前
RabbitMQ概述和工作模式
分布式·rabbitmq·ruby
武子康21 小时前
Java-75 深入浅出 RPC Dubbo Java SPI机制详解:从JDK到Dubbo的插件式扩展
java·分布式·后端·spring·微服务·rpc·dubbo
deeper_wind1 天前
ELK日志分析部署(小白的“升级打怪”成长之路)
运维·elk