kafka connect

kafka connect是kafka和外部存储系统交互的工具

bootstrap.servers

key.converter:JSON and Avro.

value.converter:JSON and Avro.

一、standalone模式

1、在config/connect-standalone.properties中配置

plugin.path=libs/connect-file-3.6.1.jar

2、在test.txt文件中写入一些数据

3、启动两个连接器,传入三个参数

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

一个连接器是源连接器,读取输入文件发送到kafka,另一个是接收连接器,读取kafka的消息发送到文件test.sink.txt中

connect-standalone.properties:配置kafka参数

offset.storage.file.filename - standalone中独有的配置

二、分布式:最好在使用connect之前创建好topic,包含分区,offset等

bin/connect-distributed.sh config/connect-distributed.properties

group.id:不能与消费者组的相同

config.storage.topic:用于存储连接器和任务配置的主题,配置成删除

offset.storage.topic:用于存储偏移量的主题,配置成压缩

status.storage.topic:用于存储状态的主题

通用配置:

name:connector的名称,唯一

connector.class:连接器的java 类

tasks.max:最大任务数

Sink connectors的配置

topics

topics.regex

配置rest api

listeners=http://localhost:8080,https://localhost:8443

使用HTTPS时,配置必须包括SSL配置

相关推荐
Acrel123410 分钟前
安科瑞防逆流方案在内蒙古中高绿能能源7MW分布式光伏项目的应用
分布式·能源
塞尔维亚大汉25 分钟前
OpenHarmony之分布式软总线json.payload.c(三)
分布式·嵌入式·harmonyos
FLGB2 小时前
Kafka延迟队列实现分级重试
分布式·kafka
java1234_小锋12 小时前
Kafka中的消息是如何存储的?
分布式·kafka
老友@12 小时前
Kafka 深度解析:高性能设计、部署模式、容灾机制与 KRaft 新模式
分布式·kafka·kraft·高性能·容灾机制
余子桃13 小时前
Kafka的安装与使用(windows下python使用等)
分布式·kafka
java1234_小锋13 小时前
Kafka中的消息如何分配给不同的消费者?
分布式·kafka
小样vvv13 小时前
【Kafka】深入探讨 Kafka 如何保证一致性
分布式·kafka
小样vvv14 小时前
【Kafka】消费者幂等性保障全解析
kafka
快来卷java18 小时前
深入剖析雪花算法:分布式ID生成的核心方案
java·数据库·redis·分布式·算法·缓存·dreamweaver