cancel框架同步mysql数据到kafka

1、下载cancel

复制代码
https://github.com/alibaba/canal/releases/tag/canal-1.1.5

2、修改conf文件夹下的canal.properties配置文件

复制代码
canal.zkServers=localhost:2181
canal.serverMode = kafka
##################################################
######### 		     Kafka 		     #############
##################################################
kafka.bootstrap.servers = localhost:9092

3、修改conf/example文件夹下的instance.properties配置文件

在sql查询show binary logs语句得到binlog日志

复制代码
canal.instance.master.address= localhost:3306
canal.instance.master.journal.name=mysql-bin.000001
canal.instance.master.position=156

# username/password
canal.instance.dbUsername=xxxx
canal.instance.dbPassword=xxxxx
canal.instance.filter.regex=db_mybatis.userProject #数据库名.表名,可多个
canal.mq.topic=canceltopic   #消息队列的topic

4、启动

在bin目录下执行

复制代码
./startup.sh

启动程序

注:MySQL需要创建新用户

复制代码
mysql> CREATE USER canal IDENTIFIED BY '123456'; 
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
mysql> FLUSH PRIVILEGES;
mysql> show grants for 'canal' ;
相关推荐
RestCloud9 小时前
SQL Server到Hive:批处理ETL性能提升30%的实战经验
数据库·api
RestCloud9 小时前
为什么说零代码 ETL 是未来趋势?
数据库·api
深圳蔓延科技10 小时前
Kafka的高性能之路
后端·kafka
ClouGence12 小时前
CloudCanal + Paimon + SelectDB 从 0 到 1 构建实时湖仓
数据库
Java水解13 小时前
Mysql查看执行计划、explain关键字详解(超详细)
后端·mysql
知其然亦知其所以然17 小时前
MySQL 社招必考题:如何优化查询过程中的数据访问?
后端·mysql·面试
DemonAvenger18 小时前
NoSQL与MySQL混合架构设计:从入门到实战的最佳实践
数据库·mysql·性能优化
程序新视界19 小时前
如何在MySQL中创建聚集索引?
mysql
AAA修煤气灶刘哥1 天前
后端人速藏!数据库PD建模避坑指南
数据库·后端·mysql
程序新视界1 天前
学习MySQL绕不开的两个基础概念:聚集索引与非聚集索引
mysql