本地canal安装和使用

1、组件版本

canal.deployer-1.1.7

kafka_2.13-2.6.0

jdk8

apache-zookeeper-3.6.0-bin

mysql5.7

2、解压canal.deployer-1.1.7

2.1、修改canal.properties配置文件
java 复制代码
##改为kafka
canal.serverMode=kafka

## 改为instance
canal.destinations = instance

## 改为true,如果新增库或者改库相关的ddl语句,如果binlog都推送到一个topic,canal监听就不会有问题,如果区分表会导致新产生的binlog无法推送到kafka
canal.instance.filter.query.ddl = true

## canal.instance.tsdb,新增库canal_tsdb
canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb?useUnicode=true&&characterEncoding=UTF-8&connectTimeout=3000&autoReconnect=true&socketTimeout=300000&useSSL=false
canal.instance.tsdb.dbUsername=root
canal.instance.tsdb.dbPassword=123456

## canal默认使用h2,这里需要改为mysql
canal.instance.tsdb.spring.xml = classpath:spring/tsdb/mysql-tsdb.xml
2.2、修改example/instance.properties配置文件
java 复制代码
## 配置mysql master数据库信息
canal.instance.master.address=127.0.0.1:3306
canal.instance.dbUsername=canal_test
canal.instance.dbPassword=123456

## 注释当前配置,就默认走按表推送数据至kafka,否则所有binlog都推送到同一个topic
#canal.mq.topic=canal_test
## 按表推送数据至kafka
canal.mq.dynamicTopic=mytest,.*,mytest.user,mytest\\..*,.*\\..*
2.3、给canal_test用户授权

检查binlog是否开启

sql 复制代码
show variables like '%log_bin%';

检查binlog日志格式是否为ROW

sql 复制代码
show variables like '%binlog_format%';

检查canal_test用户是否授予权限,如果没有,需要进行授权

sql 复制代码
show master status;
sql 复制代码
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
2.5、启动canal

终端执行命令:sh bin/startup.sh,是否启动成功,查看日志canal.deployer-1.1.7/logs/canal/canal.log、canal.deployer-1.1.7/logs/instance/instance.log

相关推荐
周周记笔记1 小时前
学习笔记:第一个Python程序
笔记·学习
丑小鸭是白天鹅1 小时前
Kotlin协程详细笔记之切线程和挂起函数
开发语言·笔记·kotlin
潘达斯奈基~1 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
..过云雨1 小时前
05.【Linux系统编程】进程(冯诺依曼体系结构、进程概念、进程状态(注意僵尸和孤儿)、进程优先级、进程切换和调度)
linux·笔记·学习
咸甜适中1 小时前
rust语言 (1.88) egui (0.32.2) 学习笔记(逐行注释)(二十八)使用图片控件显示图片
笔记·学习·rust·egui
一又四分之一.1 小时前
高数基础知识(下)②
笔记
ZHANG8023ZHEN2 小时前
fMoE论文阅读笔记
论文阅读·笔记
Ro Jace3 小时前
文献阅读笔记:R&S电子战测试与测量技术文档
笔记
ZZHow10244 小时前
Maven入门_简介、安装与配置
java·笔记·maven
芜狄7 小时前
UCOSIII移植——学习笔记1
笔记·嵌入式硬件·学习·stm32f103rct6·ucosiii实时操作系统