flinkcdc同步完全量数据就不同步增量数据了

flinkcdc同步完全量数据就不同步增量数据了

使用flinkcdc同步mysql数据,使用的是全量采集模型

startupOptions(StartupOptions.earliest())

全量阶段同步完成之后,发现并不开始同步增量数据,原因有以下两个:

原因1:

1.mysql中对应的数据库没有开启binlog

在/etc/my.cnf配置文件中,在[ mysqld ]添加以下内容

bash 复制代码
[mysqld]

#数据库id
server-id=1
##启动Binlog,该参数的值会作为binlog的文件名前缀
log-bin=mysql-bin
##binlog类型,maxwell要求为row类型
binlog_format=row
##启动binlog的数据库,需根据实际情况修改配置
binlog-do-db=student
binlog-do-db=easypm

然后重启数据库 ,执行命令

bash 复制代码
sudo systemctl restart mysqld

原因2

和checkpoint有关

1.没有开启ck

2.ck的时间过长

测试阶段,可以把ck的时间设置的非常短

bash 复制代码
 env.enableCheckpointing(1000L, CheckpointingMode.EXACTLY_ONCE);//头和头的之间
   env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000L);//头和尾

3.ck的路径收到损坏,删除对应的ck路径下的内容即可

相关推荐
Yaml44 小时前
Spring Boot 与 Vue 共筑二手书籍交易卓越平台
java·spring boot·后端·mysql·spring·vue·二手书籍
追风林4 小时前
mac 本地docker-mysql主从复制部署
mysql·macos·docker
java1234_小锋5 小时前
讲讲RabbitMQ 性能优化
kafka
Hsu_kk6 小时前
MySQL 批量删除海量数据的几种方法
数据库·mysql
编程学无止境6 小时前
第02章 MySQL环境搭建
数据库·mysql
knight-n6 小时前
MYSQL库的操作
数据库·mysql
eternal__day8 小时前
MySQL_聚合函数&分组查询
数据库·mysql
咕哧普拉啦8 小时前
乐尚代驾十订单支付seata、rabbitmq异步消息、redisson延迟队列
java·spring boot·mysql·spring·maven·乐尚代驾·java最新项目
春哥的魔法书9 小时前
数据库基础(5) . DCL
数据库·mysql
鬼才血脉10 小时前
docker+mysql配置
mysql·adb·docker