flinkcdc同步完全量数据就不同步增量数据了

flinkcdc同步完全量数据就不同步增量数据了

使用flinkcdc同步mysql数据,使用的是全量采集模型

startupOptions(StartupOptions.earliest())

全量阶段同步完成之后,发现并不开始同步增量数据,原因有以下两个:

原因1:

1.mysql中对应的数据库没有开启binlog

在/etc/my.cnf配置文件中,在[ mysqld ]添加以下内容

bash 复制代码
[mysqld]

#数据库id
server-id=1
##启动Binlog,该参数的值会作为binlog的文件名前缀
log-bin=mysql-bin
##binlog类型,maxwell要求为row类型
binlog_format=row
##启动binlog的数据库,需根据实际情况修改配置
binlog-do-db=student
binlog-do-db=easypm

然后重启数据库 ,执行命令

bash 复制代码
sudo systemctl restart mysqld

原因2

和checkpoint有关

1.没有开启ck

2.ck的时间过长

测试阶段,可以把ck的时间设置的非常短

bash 复制代码
 env.enableCheckpointing(1000L, CheckpointingMode.EXACTLY_ONCE);//头和头的之间
   env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000L);//头和尾

3.ck的路径收到损坏,删除对应的ck路径下的内容即可

相关推荐
真实的菜34 分钟前
Kafka生态整合深度解析:构建现代化数据架构的核心枢纽
架构·kafka·linq
戒不掉的伤怀1 小时前
【Navicat 连接MySQL时出现错误1251:客户端不支持服务器请求的身份验证协议;请考虑升级MySQL客户端】
服务器·数据库·mysql
wuxinyan1232 小时前
Java面试题033:一文深入了解MySQL(5)
java·数据库·mysql·面试
笑衬人心。2 小时前
Ubuntu 22.04 + MySQL 8 无密码登录问题与 root 密码重置指南
linux·mysql·ubuntu
坤坤不爱吃鱼3 小时前
【MySQL\Oracle\PostgreSQL】迁移到openGauss数据出现的问题解决方案
mysql·postgresql·oracle
欧阳有财3 小时前
[java八股文][Mysql面试篇]日志
java·mysql·面试
叁沐3 小时前
MySQL 03 事务隔离:为什么你改了我还看不见?
mysql
RainbowSea6 小时前
15. MySQL 多版本并发控制
java·sql·mysql
Edingbrugh.南空6 小时前
Flink Postgres CDC 环境配置与验证
大数据·flink
码小跳8 小时前
软件无法连接MySql数据库
数据库·mysql