Flink SQL 将kafka topic的数据写到另外一个topic里面

复制代码
-- 创建源表,使用 RAW 格式接收原始 JSON 数据
CREATE TABLE source_kafka (
id STRING,
`data` STRING
) WITH (
'connector' = 'kafka',
'topic' = 'source_kafka-topic',
'properties.bootstrap.servers' = 'master01:9092',
'properties.group.id' = 'flink-kafka-group',
'scan.startup.mode' = 'latest-offset',
'key.format' = 'csv',
'key.fields' = 'id',
'value.format' = 'raw',
'value.fields-include' = 'EXCEPT_KEY'
);


-- 创建目标表,同样使用 RAW 格式保持数据原样
CREATE TABLE sink_kafka (
id STRING,
`data` STRING
) WITH (
'connector' = 'kafka',
'topic' = 'sink-kafka-topic',
'properties.bootstrap.servers' = 'master02:9092',
'key.format' = 'csv',
'key.fields' = 'id',
'value.format' = 'raw',
'value.fields-include' = 'EXCEPT_KEY'
);


-- 执行复制操作
INSERT INTO sink_kafka
SELECT * FROM source_kafka;
  • value.fields-include

定义消息体(Value)格式如何处理消息键(Key)字段的策略。 默认情况下,表结构中 'ALL' 即所有的字段都会包含在消息体格式中,即消息键字段在消息键和消息体格式中都会出现。

https://nightlies.apache.org/flink/flink-docs-master/zh/docs/connectors/table/formats/overview/

相关推荐
kejiayuan9 小时前
CTE更易懂的SQL风格
数据库·sql
PyHaVolask10 小时前
SQL注入漏洞原理
数据库·sql
l1t11 小时前
DeepSeek辅助编写的利用位掩码填充唯一候选数方法求解数独SQL
数据库·sql·算法·postgresql
冰暮流星13 小时前
sql语句之select语句的基本使用
数据库·sql·mysql
潇凝子潇14 小时前
kafka之监控告警
分布式·kafka
霖霖总总14 小时前
[小技巧15]深入解读 MySQL sql_mode:从原理到实践,规避常见坑
sql·mysql
菩提小狗15 小时前
SQL注入之sqlmap|web安全|渗透测试|网络安全
数据库·sql·web安全
m0_5981772316 小时前
SQL核心(1)
数据库·sql
潇凝子潇16 小时前
Kafka 实现集群安全认证与加密机制
分布式·安全·kafka
indexsunny16 小时前
互联网大厂Java求职面试实战:微服务与Spring Boot在电商场景中的应用
java·数据库·spring boot·微服务·kafka·hibernate·电商