Apache Doris Flink Connector 24.0.0 版本正式发布

亲爱的社区伙伴们,Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持,并支持通过 Arrow Flight SQL高速读取 Doris 中数据。此外,整库同步所依赖的 FlinkCDC,也需升级至 3.1.x 版本,以便更好的应用。

下载地址:https://github.com/apache/doris-flink-connector/releases/tag/24.0.0

行为变更

  • 将整库同步所依赖的 FlinkCDC 版本升级至 FlinkCDC 3.1.x。由于 FlinkCDC 3.1 及后续版本已捐赠给 Apache 基金会,并与 FlinkCDC 2.4 版本不兼容,因此在升级 Doris Flink Connector 时,已运行的整库同步作业无法从之前的状态重启,需要在将 Flink CDC 升级到 3.1 版本后进行一次无状态重启。具体可参考 Apache Flink CDC 3.1.0 发布公告 兼容性章节。
  • 考虑到上述不兼容性以及与其他 Connector(如 Spark 和 Kafka)版本的一致性,我们将 Connector 版本号更改为 24.x 系列。具体可参考: [DISCUSS] About the next version change of Connector

新增功能

  1. 支持 Flink 1.20
  2. 支持 DB2 的数据库同步
  3. CDC SchemaChange 支持使用 JSQLParser 框架解析 DDL
  4. 支持 Stream Load GZ 压缩导入
  5. 支持通过 Arrow Flight SQL 读取 Doris 中数据

改进提升

  1. 升级 FlinkCDC 版本到 3.1.1
  2. 支持 DB2/Postgres/SQLServer 进行数据同步的 JDBC 参数设置
  3. 优化攒批写入模式
  4. 优化部分 CDC 同步的逻辑
  5. MySQL 整库同步支持 Integer 类型

Bug 修复

  1. 修复 Map 子类型为 Date/Datetime 类型时的读取序列化问题
  2. 修复 FlinkSQL 投影下推的 Bug
  3. 修复 MongoDB 同步 Decimal 类型的问题
  4. 兼容 Doris 修复 arrow 读取 timestamp 类型的问题
  5. CDC 整库同步修复 delete 事件不生效的问题
  6. 修复 Schema Change 默认值空时转换逻辑错误的问题

致谢

在此向参与版本设计、开发、测试、讨论的社区贡献者们表示感谢,他们分别是:

@bingquanzhao

@DongLiang-0

@JasonLeeCoding

@JNSimba@MaoMiMao

@qg-lin@tmc9031

@vinlee19

相关推荐
点控云36 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zkmall2 小时前
企业电商解决方案哪家好?ZKmall模块商城全渠道支持 + 定制化服务更省心
大数据·运维·重构·架构·开源
随缘而动,随遇而安6 小时前
第八十八篇 大数据中的递归算法:从俄罗斯套娃到分布式计算的奇妙之旅
大数据·数据结构·算法
GISer_Jing7 小时前
Git协作开发:feature分支、拉取最新并合并
大数据·git·elasticsearch
IT_10248 小时前
Spring Boot项目开发实战销售管理系统——系统设计!
大数据·spring boot·后端
一只鹿鹿鹿9 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
聚铭网络10 小时前
案例精选 | 某省级税务局AI大数据日志审计中台应用实践
大数据·人工智能·web安全
Qdgr_12 小时前
价值实证:数字化转型标杆案例深度解析
大数据·数据库·人工智能
选择不变12 小时前
日线周线MACD指标使用图文教程,通达信指标
大数据·区块链·通达信指标公式·炒股技巧·短线指标·炒股指标
高山莫衣12 小时前
git rebase多次触发冲突
大数据·git·elasticsearch