Flink SQL 将kafka topic的数据写到另外一个topic里面

复制代码
-- 创建源表,使用 RAW 格式接收原始 JSON 数据
CREATE TABLE source_kafka (
id STRING,
`data` STRING
) WITH (
'connector' = 'kafka',
'topic' = 'source_kafka-topic',
'properties.bootstrap.servers' = 'master01:9092',
'properties.group.id' = 'flink-kafka-group',
'scan.startup.mode' = 'latest-offset',
'key.format' = 'csv',
'key.fields' = 'id',
'value.format' = 'raw',
'value.fields-include' = 'EXCEPT_KEY'
);


-- 创建目标表,同样使用 RAW 格式保持数据原样
CREATE TABLE sink_kafka (
id STRING,
`data` STRING
) WITH (
'connector' = 'kafka',
'topic' = 'sink-kafka-topic',
'properties.bootstrap.servers' = 'master02:9092',
'key.format' = 'csv',
'key.fields' = 'id',
'value.format' = 'raw',
'value.fields-include' = 'EXCEPT_KEY'
);


-- 执行复制操作
INSERT INTO sink_kafka
SELECT * FROM source_kafka;
  • value.fields-include

定义消息体(Value)格式如何处理消息键(Key)字段的策略。 默认情况下,表结构中 'ALL' 即所有的字段都会包含在消息体格式中,即消息键字段在消息键和消息体格式中都会出现。

https://nightlies.apache.org/flink/flink-docs-master/zh/docs/connectors/table/formats/overview/

相关推荐
合作小小程序员小小店13 小时前
图书管理系统,基于winform+sql sever,开发语言c#,数据库mysql
开发语言·数据库·sql·microsoft·c#
p***924819 小时前
深入理解与实战SQL IFNULL()函数
数据库·sql·oracle
2501_9414037620 小时前
Python高性能图像识别与TensorFlow实战分享:深度学习模型优化与批量推理经验
flink
Y***98511 天前
DVWA靶场通关——SQL Injection篇
数据库·sql
蒋士峰DBA修行之路1 天前
实验二十八 SQL PATCH调优
数据库·sql·gaussdb
I***t7161 天前
一条sql 在MySQL中是如何执行的
数据库·sql·mysql
n***F8751 天前
修改表字段属性,SQL总结
java·数据库·sql
2501_941877981 天前
Python在微服务高并发异步日志聚合与智能告警分析架构中的实践
kafka
a***59261 天前
【SQL技术】不同数据库引擎 SQL 优化方案剖析
数据库·sql
喂自己代言1 天前
常见的关系型数据库有哪些?如何安装和使用Postgres?(中英双语版)
sql·postgresql·database