Flink SQL 将kafka topic的数据写到另外一个topic里面

复制代码
-- 创建源表,使用 RAW 格式接收原始 JSON 数据
CREATE TABLE source_kafka (
id STRING,
`data` STRING
) WITH (
'connector' = 'kafka',
'topic' = 'source_kafka-topic',
'properties.bootstrap.servers' = 'master01:9092',
'properties.group.id' = 'flink-kafka-group',
'scan.startup.mode' = 'latest-offset',
'key.format' = 'csv',
'key.fields' = 'id',
'value.format' = 'raw',
'value.fields-include' = 'EXCEPT_KEY'
);


-- 创建目标表,同样使用 RAW 格式保持数据原样
CREATE TABLE sink_kafka (
id STRING,
`data` STRING
) WITH (
'connector' = 'kafka',
'topic' = 'sink-kafka-topic',
'properties.bootstrap.servers' = 'master02:9092',
'key.format' = 'csv',
'key.fields' = 'id',
'value.format' = 'raw',
'value.fields-include' = 'EXCEPT_KEY'
);


-- 执行复制操作
INSERT INTO sink_kafka
SELECT * FROM source_kafka;
  • value.fields-include

定义消息体(Value)格式如何处理消息键(Key)字段的策略。 默认情况下,表结构中 'ALL' 即所有的字段都会包含在消息体格式中,即消息键字段在消息键和消息体格式中都会出现。

https://nightlies.apache.org/flink/flink-docs-master/zh/docs/connectors/table/formats/overview/

相关推荐
寻星探路32 分钟前
数据库造神计划第八天---增删改查(CRUD)(4)
数据库·sql·mysql
Moshow郑锴1 小时前
SpringBootCodeGenerator使用JSqlParser解析DDL CREATE SQL 语句
spring boot·后端·sql
mask哥14 小时前
详解mcp以及agen架构设计与实现
java·微服务·flink·大模型·ai agent·springai·mcp
zru_960216 小时前
Kafka核心概念深入浅出:消费者组(Consumer Group)机制全解析
kafka
emma羊羊18 小时前
【SQL注入】延时盲注
数据库·sql·网络安全
程序员小羊!19 小时前
大数据电商流量分析项目实战:Spark SQL 基础(四)
大数据·sql·spark
thginWalker20 小时前
面试鸭Java八股之Kafka
kafka
好名字更能让你们记住我21 小时前
MYSQL数据库初阶 之 MYSQL用户管理
linux·数据库·sql·mysql·adb·数据库开发·数据库架构
winfield8211 天前
Kafka 线上问题排查完整手册
kafka
亭台烟雨中1 天前
SQL优化简单思路
数据库·sql