Kafka 到数据仓库:使用 bend-ingest-kafka 将消息加载到 Databend

将消息从 Apache Kafka 导入到像 Databend 这样的云数据仓库可能是一项艰巨的任务。bend-ingest-kafka 工具简化了这一过程,使您能够轻松地将 Kafka 消息导入到 Databend 表中。

什么是 bend-ingest-kafka?

bend-ingest-kafka 工具是一个专门为从 Apache Kafka 到 Databend 进行消息加载的命令行工具,支持以下模式:

  • JSON 模式:此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。

  • RAW 模式 :在此模式下,该工具会创建一个包含 uuidkoffsetkpartitionraw_datarecord_metadataadd_time 等列的表。Kafka 消息存储在 raw_data 列中,并将其他元数据注入到其他列中,从而保留原始消息格式并提供有用的上下文。

有关 bend-ingest-kafka 的更多详细信息,请查看 README。要安装 bend-ingest-kafka,请运行以下命令:

复制代码
go install github.com/databendcloud/bend-ingest-kafka@latest

如何使用 bend-ingest-kafka

在这里中,我们将安装一个本地 Kafka 实例,创建一个主题,并生成一些示例消息。然后,我们将分别以 JSON 和 RAW 模式将这些消息加载到 Databend Cloud 中。

安装 Kafka

在开始之前,请确保您已运行 Kafka 并创建了一个主题。以下是使用 Docker 的快速部署:

使用 Docker 运行 Kafka 容器:

复制代码
docker run -d \
 - name kafka \
 -p 9092:9092 \
 apache/kafka:latest

创建一个名为 "test-topic" 的主题并生成一些消息:

复制代码
docker exec - workdir /opt/kafka/bin/ -it kafka sh
/opt/kafka/bin $ ./kafka-topics.sh - bootstrap-server localhost:9092 - create - topic test-topic
Created topic test-topic.
/opt/kafka/bin $ ./kafka-console-producer.sh - bootstrap-server localhost:9092 - topic test-topic
>{"id": 1, "name": "Alice", "age": 30}
>{"id": 2, "name": "Bob", "age": 25}

在 Databend Cloud 创建目标表

在 Databend Cloud 中创建一个数据库和表。这张表将作为 JSON 模式加载的目标,因此请确保其模式与之前生成的消息匹配。

复制代码
CREATE DATABASE doc;

CREATE TABLE databend_topic (
 id INT NOT NULL,
 name VARCHAR NOT NULL,
 age INT NOT NULL
 ) ENGINE=FUSE;

使用 JSON 模式加载

使用以下命令开始将消息从 Kafka 加载到 Databend Cloud:

要获取您的 DSN,请登录到 Databend Cloud 并点击"连接"

复制代码
bend-ingest-kafka \
 - kafka-bootstrap-servers="localhost:9092" \
 - kafka-topic="test-topic" \
 - databend-dsn="<your-dsn>" \
 - databend-table="doc.databend_topic" \
 - data-format="json"

您将在终端中看到类似这样的消息:

复制代码
INFO[0000] Starting worker worker-0
2024/08/27 14:31:18 ingest 1 rows (0.900730 rows/s), 38 bytes (34.227748 bytes/s)
WARN[0095] Failed to read message from Kafka: context deadline exceeded kafka_batch_reader=ReadBatch
2024/08/27 14:32:19 ingest 1 rows (1.206118 rows/s), 36 bytes (43.420260 bytes/s)

验证 Kafka 消息是否已成功加载到 Databend Cloud 中的目标表,并且每个字段都正确映射到其指定的列中:

使用 RAW 模式加载

使用以下命令开始将消息从 Kafka 加载到 Databend Cloud:

复制代码
bend-ingest-kafka \
 - kafka-bootstrap-servers="localhost:9092" \
 - kafka-topic="test-topic" \
 - databend-dsn="<your-dsn>" \
 - is-json-transform=false

您将在终端中看到类似这样的消息:

复制代码
INFO[0000] Starting worker worker-0
WARN[0077] Failed to read message from Kafka: context deadline exceeded kafka_batch_reader=ReadBatch
2024/08/27 15:12:56 ingest 2 rows (1.978622 rows/s), 579 bytes (572.811134 bytes/s)

验证 Kafka 消息已成功加载到 Databend Cloud 中,并自动创建了一张表:

相关推荐
Amy187021118231 天前
分布式光纤传感:照亮每一个角落的“温度感知神经”
分布式
Jabes.yang1 天前
Java求职面试:从Spring Boot到Kafka的技术探讨
java·spring boot·面试·kafka·互联网大厂
数据要素X1 天前
寻梦数据空间 | 架构篇:从概念到落地的技术实践与突破性创新
大数据·运维·数据仓库·微服务·数据治理·数据中台·可信数据空间
玉石观沧海1 天前
高压变频器故障代码解析F67 F68
运维·经验分享·笔记·分布式·深度学习
小马爱打代码1 天前
分布式锁:原理算法和使用建议
分布式·算法
呆呆小金人1 天前
SQL入门: HAVING用法全解析
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
一叶飘零_sweeeet1 天前
从 “黑盒“ 到 “透明“:SkyWalking 实战指南 —— 让微服务问题无所遁形
分布式·微服务·skywalking·分布式链路追踪
一起喝芬达20101 天前
当数据仓库遇见AI:金融风控的「认知大脑」正在觉醒
数据仓库·人工智能
ArabySide1 天前
【ASP.NET Core】分布式场景下ASP.NET Core中JWT应用教程
分布式·后端·asp.net core
还是大剑师兰特1 天前
Kafka 面试题及详细答案100道(91-95)-- 问题排查与解决方案1
kafka·大剑师·kafka面试题·kafka教程