Debezium日常分享系列之:Debezium 3.3.0.Alpha2发布

Debezium日常分享系列之:Debezium 3.3.0.Alpha2发布

本次更新的亮点包括:心跳处理机制修复、支持从精确的oplog位置启动MongoDB流式传输、PostgreSQL的TOAST性能优化、JDBC接收器增强TSVECTOR支持,以及改进PostgreSQL发布功能的DDL处理。Debezium平台还通过以下改进显著提升易用性:更清晰化的错误提示、细粒度UI日志记录功能,以及优化的源/目标端定义。

新功能与改进

以下为 Debezium 3.3.0.Alpha2 版本中值得关注的新功能与改进,完整更新清单请参阅版本说明。

心跳事件不再持续发送

在 Debezium 3.3.0.Alpha1 版本中,用户反馈使用 heartbeat.action.query 时,无论配置的心跳间隔如何,Debezium 都会持续发送心跳事件。此问题现已修复,heartbeat.action.query 将重新遵循 heartbeat.interval.ms 的配置。

支持从指定位置启动 MongoDB 连接器

用户现可通过在连接器配置中新增 capture.start.op.time 属性(需为表示 BSON 时间戳的长整型值),从 MongoDB oplog 的特定位置启动源连接器。

配置项使用须知若在连接器配置中保留此属性,连接器重启时将尝试从指定位置恢复。

建议启用此功能后,在连接器开始流式传输变更数据时移除该属性,以确保后续重启操作遵循连接器偏移量中记录的恢复位置。

JDBC接收器支持PostgreSQL TSVECTOR数据类型

在Debezium 3.3.0.Alpha1中,我们为PostgreSQL源连接器实现了基于文本搜索的TSVECTOR向量数据类型支持。本次更新将该功能扩展至JDBC接收器连接器,使TSVECTOR值可写入PostgreSQL目标库。若目标为非PostgreSQL数据库,该值将自动写入字符型字段。

PostgreSQL发布功能DDL超时机制

虽然通常不公开内部配置属性,但我们此前已添加internal.create.slot.command.timeout参数,为创建复制槽设置90秒默认超时(避免活动事务阻塞导致复制槽创建失败)。

Debezium 3.3将超时机制扩展至PostgreSQL连接器发布功能的DDL操作。若遇发布功能或复制槽创建/更新超时,建议调高该参数值(默认90)或设为0禁用超时机制。

PostgreSQL TOAST列性能优化

PostgreSQL的pgoutput解码器原采用哈希计算匹配TOAST列标识值,当事件含大型文本/二进制数据时效率低下。现通过直接等值检查机制替代哈希计算,显著降低大体积TOAST列的处理开销。

SQL Server心跳机制增强

当CDC捕获实例无变更时,SQL Server连接器现可持续发送心跳事件。该机制确保非捕获表变更引起LSN推进时,偏移量仍保持同步更新。

Debezium平台优化

Debezium 3.3 针对平台用户体验进行了多项改进:

  1. 错误处理与消息提示优化我们重构了错误处理流程,在用户界面中提供显著增强的错误描述,帮助用户快速定位问题。

  2. 细粒度日志配置功能平台新增通过用户界面定义细粒度日志配置的能力,该功能在调试连接器相关问题时尤为关键。

  3. 数据源/目标类型定义增强针对数据源与目标类型的定义流程,我们补充了详细的配置指引信息。

相关推荐
最笨的羊羊5 个月前
Debezium日常分享系列之:Debezium3.1版本之增量快照
debezium日常分享系列·debezium3.1版本·增量快照
Match_h5 个月前
Debezium + Kafka-connect 实现Postgres实时同步Hologres
kafka·debezium·数据库实时同步·kafka-connect
最笨的羊羊6 个月前
Debezium日常分享系列之:Debezium 3.1.0.Beta1发布
debezium日常分享系列·debezium·3.1.0.beta1发布
斯普信专业组6 个月前
技术聚焦:Debezium 如何将数据库数据精准注入 Kafka
数据库·分布式·kafka·debezium
Bai_Yin6 个月前
Debezium 与 Apache Kafka 的集成方式
分布式·kafka·apache·debezium
最笨的羊羊7 个月前
Debezium日常分享系列之:解码逻辑解码消息内容
debezium日常分享系列·解码逻辑解码消息内容
最笨的羊羊7 个月前
Debezium日常分享系列之:对于从Oracle数据库进行快照的性能优化
debezium日常分享系列·oracle数据库·快照的性能优化
码农不惑9 个月前
Debedium如何忽略Oracle的purge命令
java·数据库·oracle·debezium
SlothLu9 个月前
Debezium-BinaryLogClient
java·mysql·kafka·binlog·多线程·debezium·数据迁移