日志平台搭建第六章:logstash通过kafka通道采集日志信息

1.修改文件/opt/app/elk/logstash-7.5.1/config.d/config1.conf,在input下添加kafka采集配置

复制代码
#192.168.128.130:9103:kafka地址
#topics:主题
kafka {
 bootstrap_servers => ["192.168.128.130:9103"]
 group_id => "logstash"
 topics => ["demo"]
 consumer_threads => 1
 decorate_events => true
 add_field => {"from" => "demo"}
}

修改完配置文件后,不需要手动重启,因为之前在启动logstash时,配置了以下内容

kafka消息发送端发送消息

复制代码
#进入kafka容器
docker exec -it kafka sh
 
#进入到/opt/kafka/bin目录
cd /opt/kafka/bin

#启动消息发送端
./kafka-console-producer.sh --broker-list localhost:9092 --topic demo

logstash控制台会输出以下内容

kibana服务中查询出es的mylog索引中会采集到kafka的信息

相关推荐
Lansonli39 分钟前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
bksczm19 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh20 小时前
RabbitMQ安装
分布式·rabbitmq
用户36105886261220 小时前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
AI源码1 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou2 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯2 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence2 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626123 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi3 天前
Kafka消息中间件单机版安装配置
分布式·kafka