日志平台搭建第六章:logstash通过kafka通道采集日志信息

1.修改文件/opt/app/elk/logstash-7.5.1/config.d/config1.conf,在input下添加kafka采集配置

复制代码
#192.168.128.130:9103:kafka地址
#topics:主题
kafka {
 bootstrap_servers => ["192.168.128.130:9103"]
 group_id => "logstash"
 topics => ["demo"]
 consumer_threads => 1
 decorate_events => true
 add_field => {"from" => "demo"}
}

修改完配置文件后,不需要手动重启,因为之前在启动logstash时,配置了以下内容

kafka消息发送端发送消息

复制代码
#进入kafka容器
docker exec -it kafka sh
 
#进入到/opt/kafka/bin目录
cd /opt/kafka/bin

#启动消息发送端
./kafka-console-producer.sh --broker-list localhost:9092 --topic demo

logstash控制台会输出以下内容

kibana服务中查询出es的mylog索引中会采集到kafka的信息

相关推荐
WnHj40 分钟前
kafka的数据消费通过flinksql 入数到Doris的报错(Connection timed out)
分布式·kafka
哥不是小萝莉5 小时前
Kafka监控工具 EFAK-AI 介绍
ai·kafka
Java战神12 小时前
Hadoop
大数据·hadoop·分布式
不会写代码的加加14 小时前
告别重构噩梦:基于 Oinone 实现单体到微服务的平滑演进
spring boot·分布式
1.01^100014 小时前
[7-01-02].第05节:环境搭建 - 基础环境
kafka
szxinmai主板定制专家15 小时前
RK3588+AI算力卡替代英伟达jetson方案,大算力,支持FPGA自定义扩展
arm开发·人工智能·分布式·fpga开发
Pota-to成长日记17 小时前
Redisson 看门狗机制深度解析:分布式锁的守护者
分布式·wpf
wangtianlang091220 小时前
深入理解Java多线程编程中的锁机制与性能优化策略
分布式
熊文豪21 小时前
Windows安装RabbitMQ保姆级教程
windows·分布式·rabbitmq·安装rabbitmq
Amy187021118231 天前
分布式光纤传感:照亮每一个角落的“温度感知神经”
分布式