flinkcdc同步完全量数据就不同步增量数据了

flinkcdc同步完全量数据就不同步增量数据了

使用flinkcdc同步mysql数据,使用的是全量采集模型

startupOptions(StartupOptions.earliest())

全量阶段同步完成之后,发现并不开始同步增量数据,原因有以下两个:

原因1:

1.mysql中对应的数据库没有开启binlog

在/etc/my.cnf配置文件中,在 mysqld 添加以下内容

bash 复制代码
[mysqld]

#数据库id
server-id=1
##启动Binlog,该参数的值会作为binlog的文件名前缀
log-bin=mysql-bin
##binlog类型,maxwell要求为row类型
binlog_format=row
##启动binlog的数据库,需根据实际情况修改配置
binlog-do-db=student
binlog-do-db=easypm

然后重启数据库 ,执行命令

bash 复制代码
sudo systemctl restart mysqld

原因2

和checkpoint有关

1.没有开启ck

2.ck的时间过长

测试阶段,可以把ck的时间设置的非常短

bash 复制代码
 env.enableCheckpointing(1000L, CheckpointingMode.EXACTLY_ONCE);//头和头的之间
   env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000L);//头和尾

3.ck的路径收到损坏,删除对应的ck路径下的内容即可

相关推荐
索西引擎4 小时前
MySQL 进阶:视图、存储过程、存储函数与触发器
数据库·mysql
bksczm6 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
靠沿6 小时前
MySQL数据库进阶——存储过程和触发器
java·数据库·mysql
码少女7 小时前
MySQL--库与表的增删改查基础
java·数据库·mysql
打工的小王8 小时前
postgresql和mysql对比
数据库·mysql·postgresql
yyk3332411 小时前
Flink详细讲解
大数据·flink
codeejun11 小时前
每日一Go·MySQL-15、慢查询日志实战分析(从 0 到 1 实战排查慢 SQL)
sql·mysql·golang
Decay__12 小时前
SQLServer 监控体系构建 —— sql_exporter + Prometheus + Grafana 全栈实战
运维·数据库·sql·mysql·架构
飞奔的瓜牛13 小时前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
飞奔的瓜牛13 小时前
Nacos 三节点集群部署手册:MySQL 持久化 + Nginx 负载均衡
mysql·nginx·负载均衡