kafka connect

kafka connect是kafka和外部存储系统交互的工具

bootstrap.servers

key.converter:JSON and Avro.

value.converter:JSON and Avro.

一、standalone模式

1、在config/connect-standalone.properties中配置

plugin.path=libs/connect-file-3.6.1.jar

2、在test.txt文件中写入一些数据

3、启动两个连接器,传入三个参数

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

一个连接器是源连接器,读取输入文件发送到kafka,另一个是接收连接器,读取kafka的消息发送到文件test.sink.txt中

connect-standalone.properties:配置kafka参数

offset.storage.file.filename - standalone中独有的配置

二、分布式:最好在使用connect之前创建好topic,包含分区,offset等

bin/connect-distributed.sh config/connect-distributed.properties

group.id:不能与消费者组的相同

config.storage.topic:用于存储连接器和任务配置的主题,配置成删除

offset.storage.topic:用于存储偏移量的主题,配置成压缩

status.storage.topic:用于存储状态的主题

通用配置:

name:connector的名称,唯一

connector.class:连接器的java 类

tasks.max:最大任务数

Sink connectors的配置

topics

topics.regex

配置rest api

listeners=http://localhost:8080,https://localhost:8443

使用HTTPS时,配置必须包括SSL配置

相关推荐
程序员泠零澪回家种桔子36 分钟前
分布式事务核心解析与实战方案
分布式
凯子坚持 c1 小时前
CANN 生态中的分布式训练利器:深入 `collective-ops` 项目实现高效多卡协同
分布式
岁岁种桃花儿1 小时前
Kafka从入门到上天系列第一篇:kafka的安装和启动
大数据·中间件·kafka
惊讶的猫2 小时前
rabbitmq实践小案例
分布式·rabbitmq
禁默3 小时前
打破集群通信“内存墙”:手把手教你用 CANN SHMEM 重构 AIGC 分布式算子
分布式·重构·aigc
惊讶的猫5 小时前
rabbitmq初步介绍
分布式·rabbitmq
小镇敲码人5 小时前
华为CANN框架中HCCL仓库的全面解析:分布式通信的引擎
分布式·华为
User_芊芊君子6 小时前
【分布式训练】CANN SHMEM跨设备内存通信库:构建高效多机多卡训练的关键组件
分布式·深度学习·神经网络·wpf
酷酷的崽7986 小时前
CANN 开源生态解析(四):`cann-dist-train` —— 构建高效可扩展的分布式训练引擎
分布式·开源
惊讶的猫7 小时前
AMQP 与 RabbitMQ 四大模型
分布式·rabbitmq