Kafka使用Elasticsearch Service Sink Connector直接传输topic数据到Elasticsearch

链接:Elasticsearch Service Sink Connector for Confluent Platform | Confluent Documentation

链接:Apache Kafka

一、搭建测试环境

下载Elasticsearch Service Sink Connector

https://file.zjwlyy.cn/confluentinc-kafka-connect-elasticsearch-15.0.0.zip

为了方便,使用docker搭建kafka和elasticsearch。

docker run -d --name elasticsearch -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms512m -Xmx512m" -p 9200:9200 -p 9300:9300 docker.elastic.co/elasticsearch/elasticsearch:7.17.1

docker run --user root -d --name kafka -p 9092:9092 -p 8083:8083 apache/kafka:3.9.1

confluentinc-kafka-connect-elasticsearch-15.0.0.zip文件复制到kafka容器里

docker cp confluentinc-kafka-connect-elasticsearch-15.0.0.zip kafka:/opt/connectors

进入kafka的容器

docker exec -it kafka /bin/bash

修改配置文件

复制代码
vi /opt/kafka/config/connect-standalone.properties

plugin.path=/opt/connectors   #修改为zip解压路径

解压zip

unzip confluentinc-kafka-connect-elasticsearch-15.0.0.zip

修改配置文件

bash 复制代码
vi /opt/connectors/confluentinc-kafka-connect-elasticsearch-15.0.0/etc/quickstart-elasticsearch.properties
# 基础配置
name=t-elasticsearch-sink
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=3  # 根据分区数调整
topics=t-elasticsearch-sink
key.ignore=true
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
value.converter.schemas.enable=false

# ES连接配置
connection.url=http://192.168.1.1:9200  # 多节点负载均衡
type.name=_doc
index.name=t-elasticsearch-sink
#index.auto.create=true  # 自动创建索引(或手动预创建)
schema.ignore=true

# 容错与错误处理
errors.tolerance=all
#errors.deadletterqueue.topic.name=dlq_t4_elasticsearch  # 必须配置DLQ
#errors.deadletterqueue.context.headers.enable=true  # 保留错误上下文
behavior.on.null.values=IGNORE  # 跳过空值消息

# 性能优化
batch.size=2000  # 批量写入提升吞吐
max.in.flight.requests=5  # 并发请求数
max.retries=10  # 失败重试次数
retry.backoff.ms=5000  # 重试间隔
read.timeout.ms=10000  # 读超时
connection.timeout.ms=10000  # 连接超时
flush.timeout.ms=30000  # 刷新超时[2](@ref)

启动Connector

#cd /opt/kafka/bin

#./connect-standalone.sh -daemon ../config/connect-standalone.properties /opt/connectors/confluentinc-kafka-connect-elasticsearch-15.0.0/etc/quickstart-elasticsearch.properties

二、查看Connector状态

curl -XGET http://localhost:8083/connectors/t-elasticsearch-sink/status #查看状态

curl -XGET http://localhost:8083/connectors/t-elasticsearch-sink/config #查看配置

curl -X DELETE http://localhost:8083/connectors/t-elasticsearch-sink/offsets #清理偏移量

curl -X DELETE http://localhost:8083/connectors/t-elasticsearch-sink #删除此connectors

三、测试写入

./kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --list #查看topics

./kafka-topics.sh --delete --topic t-elasticsearch-sink #删除topic

./kafka-console-producer.sh --bootstrap-server 127.0.0.1:9092 --topic t-elasticsearch-sink #逐行写入消息

四、查看ES索引

curl http://127.0.0.1:9200/_cat/indices?v

相关推荐
李九三16 分钟前
分布式限流
分布式
nlog3n2 小时前
分布式排行榜系统设计方案
java·分布式
拾忆,想起3 小时前
RabbitMQ事务机制深度剖析:消息零丢失的终极武器
java·开发语言·分布式·后端·rabbitmq·ruby
z晨晨5 小时前
互联网大厂Java求职面试实战:Spring Boot与微服务场景深度解析
java·spring boot·redis·微服务·kafka·spring security·电商
野犬寒鸦6 小时前
从零起步学习Redis || 第五章:利用Redis构造分布式全局唯一ID
java·服务器·数据库·redis·分布式·后端·缓存
青云交7 小时前
Java 大视界 -- Java 大数据在智能安防周界防范系统中的行为分析与预警精度提升(419)
elasticsearch·java 大数据·智能安防周界·flink 实时行为分析·spark mllib异常识别·化工园区安防·yolov5 人体检测
孟意昶8 小时前
Spark专题-第三部分:性能监控与实战优化(2)-分区优化
大数据·分布式·sql·性能优化·spark·big data
Hello.Reader9 小时前
Kafka 安全SASL 认证全栈实战从 JAAS 到 Kerberos、PLAIN、SCRAM、OAUTH 与委托令牌
分布式·安全·kafka
失散139 小时前
分布式专题——25 深入理解网络通信和TCP、IP协议
java·分布式·网络协议·tcp/ip·架构
山河亦问安20 小时前
基于Kafka+ElasticSearch+MongoDB+Redis+XXL-Job日志分析系统(学习)
mongodb·elasticsearch·kafka