kafka connect

kafka connect是kafka和外部存储系统交互的工具

bootstrap.servers

key.converter:JSON and Avro.

value.converter:JSON and Avro.

一、standalone模式

1、在config/connect-standalone.properties中配置

plugin.path=libs/connect-file-3.6.1.jar

2、在test.txt文件中写入一些数据

3、启动两个连接器,传入三个参数

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

一个连接器是源连接器,读取输入文件发送到kafka,另一个是接收连接器,读取kafka的消息发送到文件test.sink.txt中

connect-standalone.properties:配置kafka参数

offset.storage.file.filename - standalone中独有的配置

二、分布式:最好在使用connect之前创建好topic,包含分区,offset等

bin/connect-distributed.sh config/connect-distributed.properties

group.id:不能与消费者组的相同

config.storage.topic:用于存储连接器和任务配置的主题,配置成删除

offset.storage.topic:用于存储偏移量的主题,配置成压缩

status.storage.topic:用于存储状态的主题

通用配置:

name:connector的名称,唯一

connector.class:连接器的java 类

tasks.max:最大任务数

Sink connectors的配置

topics

topics.regex

配置rest api

listeners=http://localhost:8080,https://localhost:8443

使用HTTPS时,配置必须包括SSL配置

相关推荐
難釋懷6 分钟前
分布式锁-redission锁重试和WatchDog机制
分布式
kobe_t3 小时前
分布式定时任务系列14:XXL-job的注册模型
分布式
Knight_AL3 小时前
线程池满了怎么办?用 RabbitMQ 做任务补偿不丢失
分布式·rabbitmq·ruby
難釋懷5 小时前
分布式锁-redission锁的MutiLock原理
分布式
小北方城市网6 小时前
RabbitMQ 生产级实战:可靠性投递、高并发优化与问题排查
开发语言·分布式·python·缓存·性能优化·rabbitmq·ruby
乾元6 小时前
拒绝服务的进化:AI 调度下的分布式协同攻击策略
人工智能·分布式
编程彩机7 小时前
互联网大厂Java面试:从分布式事务到微服务优化的技术场景解读
java·spring boot·redis·微服务·面试·kafka·分布式事务
听麟7 小时前
HarmonyOS 6.0+ PC端多设备文件拖拽协同开发实战:手眼同行增强与分布式软总线深度应用
分布式·华为·harmonyos
indexsunny8 小时前
互联网大厂Java面试实战:从Spring Boot到Kafka的技术与业务场景解析
java·spring boot·redis·面试·kafka·技术栈·microservices
前端世界9 小时前
鸿蒙分布式网络性能优化实战:从通信建连到多设备协同
网络·分布式·harmonyos