日志平台搭建第六章:logstash通过kafka通道采集日志信息

1.修改文件/opt/app/elk/logstash-7.5.1/config.d/config1.conf,在input下添加kafka采集配置

复制代码
#192.168.128.130:9103:kafka地址
#topics:主题
kafka {
 bootstrap_servers => ["192.168.128.130:9103"]
 group_id => "logstash"
 topics => ["demo"]
 consumer_threads => 1
 decorate_events => true
 add_field => {"from" => "demo"}
}

修改完配置文件后,不需要手动重启,因为之前在启动logstash时,配置了以下内容

kafka消息发送端发送消息

复制代码
#进入kafka容器
docker exec -it kafka sh
 
#进入到/opt/kafka/bin目录
cd /opt/kafka/bin

#启动消息发送端
./kafka-console-producer.sh --broker-list localhost:9092 --topic demo

logstash控制台会输出以下内容

kibana服务中查询出es的mylog索引中会采集到kafka的信息

相关推荐
koping_wu3 小时前
【RabbitMQ】架构原理、消息丢失、重复消费、顺序消费、事务消息
分布式·架构·rabbitmq
吹晚风吧4 小时前
从0开始了解kafka《第二篇 kafka的安装、管理和配置》
kafka·kafka配置
Jabes.yang4 小时前
Java面试场景:从Spring Web到Kafka的音视频应用挑战
大数据·spring boot·kafka·spring security·java面试·spring webflux
板凳坐着晒太阳5 小时前
Flink-Kafka 连接器的 Checkpoint 与 Offset 管理机制
flink·kafka·offset·checkpoint
喵桑..5 小时前
kafka源码阅读
分布式·kafka
酷ku的森6 小时前
RabbitMQ的概述
分布式·rabbitmq
程序员小凯8 小时前
Spring MVC 分布式事务与数据一致性教程
分布式·spring·mvc
Yeats_Liao8 小时前
Go语言技术与应用(二):分布式架构设计解析
开发语言·分布式·golang
2301_7683502311 小时前
RabbitMq快速入门程序
分布式·rabbitmq·ruby