02 - 步骤 Kafka consumer

简介

Kafka consumer 步骤,用于连接和消费 Apache Kafka 中的数据,它可以作为数据管道的一部分,将 Kafka 中的数据提取到 Kettle 中进行进一步处理、转换和加载,或者将其直接传输到目标系统中。

使用

场景

我需要订阅一个Kafka的数据,让Kettle 进行下一步的数据清洗。

1、将Kafka consumer 对象拖出来到面板

2、配置Kafka consumer

需要配置的信息

transformation直接new就行

在配置返回的字段

这样子就可以去消费kafka的消息了

3、启动转换

这样子就是成功了

我们可以在previewdata看到返回的数据

相关推荐
阿里云云原生2 天前
数据链路再精简:Kafka 如何做到“零 ETL”一键写入 Apache Iceberg?
kafka
阿里云云原生9 天前
告别冗长链路!Kafka × Table Bucket 实现开放表格式零 ETL 实时入湖
云原生·kafka
风吹夏回15 天前
RabbitMQ 核心术语 + Python pika 方法完整讲解
分布式·python·rabbitmq
风吹夏回15 天前
RabbitMQ 三种模式入门:HelloWorld、WorkQueue、PubSub
分布式·rabbitmq·ruby
霸道流氓气质15 天前
分布式追踪与 RequestId 传播完全指南
分布式
cheems952715 天前
[RabbitMQ高级特性] 消息确认机制:从 Ready / Unacked 到 basicAck、basicReject、basicNack 的底层拆解
分布式·rabbitmq·ruby
whaledown15 天前
Kafka 与 Java 消息队列入门:用订单场景理解核心机制
java·kafka·消息队列·springboot
枫华落尽15 天前
【Hadoop01-完全分布式运行模式】
分布式
隔壁阿布都15 天前
ShedLock 分布式定时任务锁框架介绍
spring boot·分布式
文艺倾年15 天前
【强化学习】数学推导专题,20W字总结(十五)
人工智能·分布式·大模型·强化学习·vibecoding