sql server cdc漏扫数据

SQL Server的CDC指的是"变更数据捕获"(Change Data Capture)。这是SQL Server数据库提供的一项功能,能够跟踪并记录对数据库表中数据所做的更改。这些更改包括插入、更新和删除操作。CDC可以捕获这些变更的详细信息,并使这些信息可用于进一步的处理,例如数据同步、数据仓库的更新或其他业务需求。

做了一个基础服务,定时扫cdc表的数据然后再数据同步到es上。运行一段时间后,发现es上的数据总是丢失变化。我想一个晚上,仍不知道自己错哪了。究竟是定时扫cdc的表拉取数据漏扫数据,还是数据处理出错呢,还是es同步数据出错呢?无奈日志打印内容太少了,只能增加日志重新部署生产观察了。

分析了一个晚上,终于找到原因了。

定时扫cdc的sql是类似这样

select * from table_CT with(nolock) where id>=@param order by id

扫到数据,处理完数据后把@param替换成上次扫的最大id,接着继续扫。

查询日志发现这条sql会漏扫数据。已知id是自增的,看着是没什么问题的。

with(nolock)是避免锁表,允许脏读(cdc表没有回滚的操作),第一眼看上去没什么问题。最读提前读到未提交的id,也没什么问题。

再细想,有问题,涉及到cdc如何捕获数据变更写入到变更表中。

把with(nolock)去掉,问题得到解决。

一看时间是凌晨4点钟,赶紧打电话给同事告诉他们这个好消息。

相关推荐
廋到被风吹走6 小时前
【数据库】【MySQL】InnoDB外键解析:约束机制、性能影响与最佳实践
android·数据库·mysql
掘根7 小时前
【消息队列】交换机数据管理实现
网络·数据库
Logic1017 小时前
《Mysql数据库应用》 第2版 郭文明 实验6 数据库系统维护核心操作与思路解析
数据库·sql·mysql·学习笔记·计算机网络技术·形考作业·国家开放大学
AI Echoes7 小时前
构建一个LangChain RAG应用
数据库·python·langchain·prompt·agent
@nengdoudou8 小时前
KingbaseES支持 mysql 的find_in_set函数
数据库·mysql
摇滚侠8 小时前
面试实战 问题三十三 Spring 事务常用注解
数据库·spring·面试
梁萌8 小时前
保姆级的MySQL执行计划(Explain)解读
数据库·mysql·explain·执行计划
JIngJaneIL8 小时前
基于Java+ vue智慧医药系统(源码+数据库+文档)
java·开发语言·前端·数据库·vue.js·spring boot
+VX:Fegn08959 小时前
计算机毕业设计|基于springboot + vue图书管理系统(源码+数据库+文档)
数据库·vue.js·spring boot·后端·课程设计
杨云龙UP9 小时前
MySQL 8.0.x InnoDB 写入链路优化:Redo Log 与 Buffer Pool 扩容与缓冲区调优实战记录-20251029
linux·运维·数据库·sql·mysql