flinkcdc同步完全量数据就不同步增量数据了

flinkcdc同步完全量数据就不同步增量数据了

使用flinkcdc同步mysql数据,使用的是全量采集模型

startupOptions(StartupOptions.earliest())

全量阶段同步完成之后,发现并不开始同步增量数据,原因有以下两个:

原因1:

1.mysql中对应的数据库没有开启binlog

在/etc/my.cnf配置文件中,在[ mysqld ]添加以下内容

bash 复制代码
[mysqld]

#数据库id
server-id=1
##启动Binlog,该参数的值会作为binlog的文件名前缀
log-bin=mysql-bin
##binlog类型,maxwell要求为row类型
binlog_format=row
##启动binlog的数据库,需根据实际情况修改配置
binlog-do-db=student
binlog-do-db=easypm

然后重启数据库 ,执行命令

bash 复制代码
sudo systemctl restart mysqld

原因2

和checkpoint有关

1.没有开启ck

2.ck的时间过长

测试阶段,可以把ck的时间设置的非常短

bash 复制代码
 env.enableCheckpointing(1000L, CheckpointingMode.EXACTLY_ONCE);//头和头的之间
   env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000L);//头和尾

3.ck的路径收到损坏,删除对应的ck路径下的内容即可

相关推荐
ob熔天使——武3 小时前
MySQL
数据库·mysql
lifallen6 小时前
Kafka 时间轮深度解析:如何O(1)处理定时任务
java·数据结构·分布式·后端·算法·kafka
野生技术架构师7 小时前
MySQL数据实时同步到Elasticsearch的高效解决方案
数据库·mysql·elasticsearch
沈健_算法小生9 小时前
基于SpringBoot3集成Kafka集群
分布式·kafka·linq
Swift社区10 小时前
ELK、Loki、Kafka 三种日志告警联动方案全解析(附实战 Demo)
分布式·elk·kafka
焦虑的二狗11 小时前
Mac下载mysql
数据库·mysql·macos
weixin_4569042712 小时前
控制台打开mysql服务报错解决办法
数据库·mysql
绅士范er12 小时前
【mysql 的安装及使用】
mysql
C1829818257515 小时前
幻想读 通过多版本并发控制(MVCC)和间隙锁(Gap Lock)的组合也能防止幻读具体说下
mysql
鲁子狄17 小时前
[笔记] 动态 SQL 查询技术解析:构建灵活高效的企业级数据访问层
java·spring boot·笔记·sql·mysql·mybatis