kafka connect

kafka connect是kafka和外部存储系统交互的工具

bootstrap.servers

key.converter:JSON and Avro.

value.converter:JSON and Avro.

一、standalone模式

1、在config/connect-standalone.properties中配置

plugin.path=libs/connect-file-3.6.1.jar

2、在test.txt文件中写入一些数据

3、启动两个连接器,传入三个参数

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

一个连接器是源连接器,读取输入文件发送到kafka,另一个是接收连接器,读取kafka的消息发送到文件test.sink.txt中

connect-standalone.properties:配置kafka参数

offset.storage.file.filename - standalone中独有的配置

二、分布式:最好在使用connect之前创建好topic,包含分区,offset等

bin/connect-distributed.sh config/connect-distributed.properties

group.id:不能与消费者组的相同

config.storage.topic:用于存储连接器和任务配置的主题,配置成删除

offset.storage.topic:用于存储偏移量的主题,配置成压缩

status.storage.topic:用于存储状态的主题

通用配置:

name:connector的名称,唯一

connector.class:连接器的java 类

tasks.max:最大任务数

Sink connectors的配置

topics

topics.regex

配置rest api

listeners=http://localhost:8080,https://localhost:8443

使用HTTPS时,配置必须包括SSL配置

相关推荐
老葱头蒸鸡4 小时前
(2)Kafka架构原理与存储机制
分布式·架构·kafka
漫谈网络4 小时前
RabbitMQ核心机制解析
分布式·rabbitmq
weixin_4454766810 小时前
从“用框架”到“控系统”———架构通用能力(模块边界、分层设计、缓存策略、事务一致性、分布式思维)
分布式·缓存·架构
Mr.wangh11 小时前
Redis作为分布式锁
数据库·redis·分布式
小马爱打代码11 小时前
分布式锁:Redisson的公平锁
分布式
Z_z在努力15 小时前
【rabbitmq 高级特性】RabbitMQ 延迟队列全面解析
分布式·rabbitmq
没有bug.的程序员15 小时前
分布式缓存架构:从原理到生产实践
java·分布式·缓存·架构·分布式缓存架构
满满的好奇17 小时前
Mesh网络技术深度解析:从分布式拓扑到复杂场景落地
分布式
会开花的二叉树17 小时前
分布式文件存储 RPC 服务实现
c++·分布式·网络协议·rpc
文艺倾年17 小时前
【八股消消乐】手撕分布式协议和算法(基础篇)
分布式·算法