Flink CDC系列之:学习理解核心概念——Data Source

source

数据源用于访问元数据并从外部系统读取更改的数据。

数据源可以同时从多个表读取数据。

参数

要描述数据源,需要以下内容:

参数 含义 可选/必需
type 源的类型,例如 mysql。 必需
name 源的名称,用户定义(提供默认值)。 可选
数据源配置 构建数据源的配置,例如连接配置和源表属性。 可选

示例

我们可以使用 yaml 文件来定义 mysql 源:

bash 复制代码
source:
    type: mysql
    name: mysql-source   #optional,description information
    host: localhost
    port: 3306
    username: admin
    password: pass
    tables: adb.*, bdb.user_table_[0-9]+, [app|web]_order_\.*
相关推荐
最笨的羊羊5 天前
Flink CDC系列之:Kafka Sink 的序列化器PipelineKafkaRecordSerializationSchema
pipeline·schema·kafka sink·flink cdc系列·serialization·序列化器·kafkarecord
最笨的羊羊6 天前
Flink CDC系列之:Kafka 变更日志 JSON 格式工厂类 ChangeLogJsonFormatFactory
json·flink cdc系列·changelog·kafka 变更日志·json 格式工厂类·formatfactory
最笨的羊羊6 天前
Flink CDC系列之:Kafka Debezium JSON 序列化器的实现DebeziumJsonSerializationSchema
kafka·debezium·schema·flink cdc系列·serialization·序列化器·debezium json
最笨的羊羊6 天前
Flink CDC系列之:Kafka 数据接收器配置选项类KafkaDataSinkOptions
kafka·flink cdc系列·kafkadata·数据接收器配置选项类·sinkoptions
最笨的羊羊7 天前
Flink CDC系列之: Kafka 数据接收器工厂类KafkaDataSinkFactory
kafka·flink cdc系列·数据接收器工厂类·kafkadata·sinkfactory
最笨的羊羊7 天前
Flink CDC系列之:Kafka 分区策略枚举类PartitionStrategy
partition·flink cdc系列·strategy·枚举类·kafka 分区策略
最笨的羊羊7 天前
Flink CDC系列之:Kafka表结构信息管理类TableSchemaInfo
flink cdc系列·kafka表结构信息·管理类·tableschemainfo
最笨的羊羊7 天前
Flink CDC系列之: Kafka 数据接收器实现类KafkaDataSink
kafka·flink cdc系列·数据接收器实现类·kafkadatasink
最笨的羊羊9 天前
Flink CDC系列之:Doris 模式工具类DorisSchemaUtils
doris·flink cdc系列·schemautils·模式工具类
最笨的羊羊9 天前
Flink CDC系列之:flink-cdc-base模块config
flink cdc系列·config·flink-cdc-base