Flink SQL 将kafka topic的数据写到另外一个topic里面

复制代码
-- 创建源表,使用 RAW 格式接收原始 JSON 数据
CREATE TABLE source_kafka (
id STRING,
`data` STRING
) WITH (
'connector' = 'kafka',
'topic' = 'source_kafka-topic',
'properties.bootstrap.servers' = 'master01:9092',
'properties.group.id' = 'flink-kafka-group',
'scan.startup.mode' = 'latest-offset',
'key.format' = 'csv',
'key.fields' = 'id',
'value.format' = 'raw',
'value.fields-include' = 'EXCEPT_KEY'
);


-- 创建目标表,同样使用 RAW 格式保持数据原样
CREATE TABLE sink_kafka (
id STRING,
`data` STRING
) WITH (
'connector' = 'kafka',
'topic' = 'sink-kafka-topic',
'properties.bootstrap.servers' = 'master02:9092',
'key.format' = 'csv',
'key.fields' = 'id',
'value.format' = 'raw',
'value.fields-include' = 'EXCEPT_KEY'
);


-- 执行复制操作
INSERT INTO sink_kafka
SELECT * FROM source_kafka;
  • value.fields-include

定义消息体(Value)格式如何处理消息键(Key)字段的策略。 默认情况下,表结构中 'ALL' 即所有的字段都会包含在消息体格式中,即消息键字段在消息键和消息体格式中都会出现。

https://nightlies.apache.org/flink/flink-docs-master/zh/docs/connectors/table/formats/overview/

相关推荐
cui_win6 小时前
Kafka运维实战 14 - kafka消费者组消费进度(Lag)深入理解【实战】
分布式·kafka
梦想画家7 小时前
Apache Kafka实时数据流处理实战指南
分布式·kafka·apache
葡萄城技术团队9 小时前
利用 SQL Server 实现字符替换的高效函数
sql
FINE!(正在努力!)10 小时前
关于sql面试积累
数据库·sql
看天走路吃雪糕10 小时前
墨者:SQL过滤字符后手工绕过漏洞测试(万能口令)
数据库·sql·sql注入·墨者学院·万能口令
SRETalk11 小时前
Kafka 不难,只是你用得不对
kafka
武昌库里写JAVA11 小时前
【MySQL】MySQL数据库如何改名
java·vue.js·spring boot·sql·学习
孫治AllenSun11 小时前
【JSqlParser】sql解析器使用案例
数据库·windows·sql
宇宙机长12 小时前
【kafka】消息队列
分布式·kafka
LiRuiJie13 小时前
基于Hadoop3.3.4+Flink1.17.0+FlinkCDC3.0.0+Iceberg1.5.0整合,实现数仓实时同步mysql数据
大数据·hadoop·flink·iceberg·flinkcdc