FlinkCDC 3.2.0 新增优点 Pattern Replacement in routing rules

新增优点:Pattern Replacement in routing rules

flinkcdc 3.2.0版本相较于3.1.0版本,避免了多表多sink多次写 route 路由的麻烦,类似于统一前后缀的形式多表多sink,通过<>正则,大大减少了书写

官网:
Route | Apache Flink CDC

Pattern Replacement in routing rules #

If you'd like to route source tables and rename them to sink tables with specific patterns, replace-symbol could be used to resemble source table names like this:

复制代码
route:
  - source-table: source_db.\.*
    sink-table: sink_db.<>
    replace-symbol: <>
    description: route all tables in source_db to sink_db

Then, all tables including source_db.XXX will be routed to sink_db.XXX without hassle.

包括source_db.XXX在内的所有表都将毫无麻烦地路由到sink_db.XXX

应用:

flinkcdc版本升级 mysql to doris 在 lib 下添加依赖jar包:

html 复制代码
source:
  type: mysql
  hostname: xxx
  port: 3306
  username: root
  password: xxx
  tables: adb.\.*,bdb.\.*
  server-id: 6410-6490
  server-time-zone: Asia/Shanghai
  scan.startup.mode: latest-offset

sink:
  type: doris
  fenodes: xxx:8130,xxx:8130,xxx:8130
  username: root
  password: xxx
  table.create.properties.light_schema_change: true

route:
  - source-table: adb.\.*
    sink-table: test_sync.adb_db_<>
    replace-symbol: <>

pipeline:
  name: test_sync
  parallelism: 1

adb会根据route路由规则进行整库同步,bdb则会根据默认的无路由规则进行整库同步。

flinkcdc pipeline 数据库仍然需要在起任务前提前创建好,表则会在source初始阶段自动创建,表注释仍然不生效

相关推荐
kicikng9 分钟前
智能体来了(西南总部)完整拆解:AI Agent 指挥官 + AI调度官架构图
大数据·人工智能·多智能体系统·ai agent指挥官·ai调度官
liliangcsdn32 分钟前
RL中GAE的计算过程详解
大数据·人工智能·算法
shjita1 小时前
mapreduce多文件的处理手法
大数据·mapreduce
AdMergeX2 小时前
前沿观察 | “死了么”爆火背后:洞察年轻人情绪刚需,重构应用增长新逻辑
大数据·广告saas·流量变现
雨大王5122 小时前
国内外工业AI原生企业对比分析与实战案例解读
大数据
开源能源管理系统3 小时前
MyEMS开源能源管理系统:赋能石膏制品制造业绿色低碳转型与降本增效
大数据·开源·能源·能源管理系统·石膏
得赢科技3 小时前
2025年GEO营销应用白皮书 - 服务业区域推广深度剖析
大数据·人工智能
GIS数据转换器3 小时前
基于GIS的宠物救助服务平台
大数据·人工智能·科技·机器学习·无人机·智慧城市·宠物
Solar20253 小时前
工程材料企业如何借助数字化工具突破获客瓶颈:方法论与实践路径
大数据·人工智能·物联网
焦糖玛奇朵婷4 小时前
就医陪诊小程序|从软件开发视角看实用度✨
java·大数据·jvm·算法·小程序