ES跟Kafka集成

配合流程

  1. Kafka作为分布式流处理平台,能够实时收集和处理不同数据源的数据流;

  2. 通过Kafka Connect或者Logstash等中间件,可以将Kafka中的数据流实时推送到Elasticsearch中;

  3. Elasticsearch接收到数据后,会根据定义的索引和文档结构进行存储和管理。

Logstash配置

XML 复制代码
 配置Logstash Kafka input插件
创建kafka_test_pipeline.conf文件内容如下:

input{
        kafka{
                bootstrap_servers=>"192.168.13.10:9092"
                topics=>["kafka_es_test"]
                group_id=>"logstash_kafka_test"
        }
}
output{
        elasticsearch{
                hosts=>["192.168.0.8:9200"]
        }
}

应用场景

  1. 实时数据分析:如金融交易,电商分析等;

  2. 实时监控;

  3. 实时搜索:对于需要快速响应搜索请求的场景非常实用。

相关推荐
秃头菜狗30 分钟前
十四、运行经典案例 wordcount
大数据·linux·hadoop
INFINI Labs36 分钟前
Elasticsearch 备份:方案篇
大数据·elasticsearch·搜索引擎·gateway·snapshot·backup·ccr
Java战神38 分钟前
Hadoop
大数据·hadoop·分布式
望获linux1 小时前
【实时Linux实战系列】实时系统的可观测性:Prometheus 与 Grafana 集成
大数据·linux·服务器·开发语言·网络·操作系统
玄妙尽在颠倒间2 小时前
SQL中的四大核心语言:DQL、DML、DDL、DCL
大数据·数据库
NickBi2 小时前
龙芯 LoongArch64编译es7.17.20
后端·elasticsearch
1.01^10003 小时前
[7-01-02].第05节:环境搭建 - 基础环境
kafka
周杰伦_Jay3 小时前
【Git操作详解】Git进行版本控制与管理,包括分支,提交,合并,标签、远程仓库查看
大数据·ide·git·科技·分类·github
lifallen4 小时前
从Apache Doris 学习 HyperLogLog
java·大数据·数据仓库·算法·apache
DolphinScheduler社区5 小时前
# 3.1.8<3.2.0<3.3.1,Apache DolphinScheduler集群升级避坑指南
java·大数据·开源·apache·任务调度·海豚调度