日志平台搭建第六章:logstash通过kafka通道采集日志信息

1.修改文件/opt/app/elk/logstash-7.5.1/config.d/config1.conf,在input下添加kafka采集配置

#192.168.128.130:9103:kafka地址
#topics:主题
kafka {
 bootstrap_servers => ["192.168.128.130:9103"]
 group_id => "logstash"
 topics => ["demo"]
 consumer_threads => 1
 decorate_events => true
 add_field => {"from" => "demo"}
}

修改完配置文件后,不需要手动重启,因为之前在启动logstash时,配置了以下内容

kafka消息发送端发送消息

#进入kafka容器
docker exec -it kafka sh
 
#进入到/opt/kafka/bin目录
cd /opt/kafka/bin

#启动消息发送端
./kafka-console-producer.sh --broker-list localhost:9092 --topic demo

logstash控制台会输出以下内容

kibana服务中查询出es的mylog索引中会采集到kafka的信息

相关推荐
大熊程序猿2 小时前
ubuntu 安装kafka-eagle
linux·ubuntu·kafka
星染xr2 小时前
kafka 生产经验——数据积压(消费者如何提高吞吐量)
分布式·kafka
东方巴黎~Sunsiny2 小时前
如何监控Kafka消费者的性能指标?
分布式·kafka
飞升不如收破烂~2 小时前
kafka
分布式·kafka
龙哥·三年风水4 小时前
群控系统服务端开发模式-应用开发-前端个人信息功能
分布式·vue·群控系统
小码哥呀5 小时前
RabbitMQ集群搭建
分布式·rabbitmq
材料苦逼不会梦到计算机白富美5 小时前
golang分布式缓存项目 Day6 防止缓存击穿
分布式·缓存·golang
想学习java初学者6 小时前
Docker Compose部署Kafka(非Zookeeper)
docker·容器·kafka
Yz98767 小时前
Kafka面试题
大数据·分布式·zookeeper·kafka·big data
customer087 小时前
【开源免费】基于SpringBoot+Vue.JS课程答疑系统(JAVA毕业设计)
java·jvm·vue.js·spring boot·spring cloud·kafka·开源