kafka connect

kafka connect是kafka和外部存储系统交互的工具

bootstrap.servers

key.converter:JSON and Avro.

value.converter:JSON and Avro.

一、standalone模式

1、在config/connect-standalone.properties中配置

plugin.path=libs/connect-file-3.6.1.jar

2、在test.txt文件中写入一些数据

3、启动两个连接器,传入三个参数

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

一个连接器是源连接器,读取输入文件发送到kafka,另一个是接收连接器,读取kafka的消息发送到文件test.sink.txt中

connect-standalone.properties:配置kafka参数

offset.storage.file.filename - standalone中独有的配置

二、分布式:最好在使用connect之前创建好topic,包含分区,offset等

bin/connect-distributed.sh config/connect-distributed.properties

group.id:不能与消费者组的相同

config.storage.topic:用于存储连接器和任务配置的主题,配置成删除

offset.storage.topic:用于存储偏移量的主题,配置成压缩

status.storage.topic:用于存储状态的主题

通用配置:

name:connector的名称,唯一

connector.class:连接器的java 类

tasks.max:最大任务数

Sink connectors的配置

topics

topics.regex

配置rest api

listeners=http://localhost:8080,https://localhost:8443

使用HTTPS时,配置必须包括SSL配置

相关推荐
拾忆,想起35 分钟前
Redisson 分布式锁的实现原理
java·开发语言·分布式·后端·性能优化·wpf
lifallen3 小时前
揭秘KafkaStreams 线程缓存:NamedCache深度解析
数据结构·算法·缓存·kafka·apache
小小怪KO3 小时前
分布式锁解决集群下一人一单超卖问题
java·分布式·tomcat·后端开发·实习·黑马点评
失散134 小时前
分布式专题——9 Redis7底层数据结构解析
java·数据结构·redis·分布式·缓存·架构
程序员TNT4 小时前
Shoptnt 安全架构揭秘:JWT 认证与分布式实时踢人方案
java·redis·分布式·架构
文人sec4 小时前
性能测试-jmeter10-分布式测试
分布式·jmeter·性能优化·模块测试
帅气的小峰4 小时前
【源码剖析】4-生产者-KafkaProducer分析
kafka·源码·实时计算
深圳蔓延科技6 小时前
Kafka + Spring Boot 终极整合指南
后端·kafka
ByteBlossom7 小时前
深入解析ZooKeeper核心机制与应用(下)
分布式·zookeeper
蒋星熠7 小时前
中间件架构设计与实践:构建高性能分布式系统的核心基石
开发语言·数据库·分布式·python·中间件·性能优化·硬件工程