cancel框架同步mysql数据到kafka

1、下载cancel

复制代码
https://github.com/alibaba/canal/releases/tag/canal-1.1.5

2、修改conf文件夹下的canal.properties配置文件

复制代码
canal.zkServers=localhost:2181
canal.serverMode = kafka
##################################################
######### 		     Kafka 		     #############
##################################################
kafka.bootstrap.servers = localhost:9092

3、修改conf/example文件夹下的instance.properties配置文件

在sql查询show binary logs语句得到binlog日志

复制代码
canal.instance.master.address= localhost:3306
canal.instance.master.journal.name=mysql-bin.000001
canal.instance.master.position=156

# username/password
canal.instance.dbUsername=xxxx
canal.instance.dbPassword=xxxxx
canal.instance.filter.regex=db_mybatis.userProject #数据库名.表名,可多个
canal.mq.topic=canceltopic   #消息队列的topic

4、启动

在bin目录下执行

复制代码
./startup.sh

启动程序

注:MySQL需要创建新用户

复制代码
mysql> CREATE USER canal IDENTIFIED BY '123456'; 
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
mysql> FLUSH PRIVILEGES;
mysql> show grants for 'canal' ;
相关推荐
达梦产品与服务7 小时前
SQLark V4.4 更新 | 新增 SQL Server 数据库支持、自定义格式复制、Agent 辅助建表等 20+ 项功能已上线!
数据库
小Ti客栈9 小时前
MySQL 常用函数速查(完整篇)
数据库·mysql·adb
隔窗听雨眠9 小时前
高可用不止于数据库的全栈工程实践
数据库·架构设计·高可用
nice_lcj52012 小时前
MySQL 主从复制与读写分离:从库怎么跟着主库走
数据库·mysql·面试·binlog·读写分离·主从复制
tianyuanwo13 小时前
PostgreSQL 部署运维实战总结:从安装踩坑到生产可用
运维·数据库·postgresql
数据工匠老o13 小时前
数据库没死,业务卡住了:行锁等待、元数据锁、长事务的排查路径
数据库·算法·架构
Decay__13 小时前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
CoderYanger14 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第二弹)
java·数据库·面试·职场和发展·java-ee·tomcat·mybatis
龙腾AI白云14 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱