基于binlog的canal到redis的同步

步骤1:安装canal

ruby 复制代码
wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz
tar zvfx canal.deployer-1.1.4.tar.gz

步骤2:配置my.cnf,创建canal用户并重启mysql

ini 复制代码
`[mysqld]`

`log-bin=mysql-bin # 开启Binlog`

`binlog-format=ROW # 设置Binlog格式为ROW`

`server_id=1 # 配置一个ServerID`

创建一个canal账户

sql 复制代码
CREATE USER canal IDENTIFIED BY 'canal123456'; 
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

重启一下 MySQL,确保所有的配置生效。

sql 复制代码
systemctl start mysqld

重启后检查一下当前的 Binlog 文件和位置

步骤3:配置canal

ini 复制代码
canal.instance.gtidon=false


# position info
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=mysql-bin.000001
canal.instance.master.position=777
canal.instance.master.timestamp=
canal.instance.master.gtid=


# username/password
canal.instance.dbUsername=canal
canal.instance.dbPassword=xxxxxxx
canal.instance.connectionCharset = UTF-8
canal.instance.defaultDatabaseName=test
# table regex
canal.instance.filter.regex=.*\\..

步骤4:启动canal

Canal 服务启动后,会开启一个端口(11111)等待客户端连接,客户端连接上 Canal 服务之后,可以从 Canal 服务拉取数据,每拉取一批数据,进行业务处理之后,给 Canal 服务返回处理成功的响应。

如果发生客户端程序宕机或者处理失败等异常情况,Canal 服务没收到处理成功的响应,下次客户端来拉取的还是同一批数据,这样就可以保证顺序并且不会丢数据。

步骤5:本地环境搭建并测试

本地需要安装redis,以及编写同步代码,代码可以参考:github.com/liyue2008/c...

然后启动工程,canal将连接到canal服务端,canal服务端能够将从指定的binlog位置同步数据下来解析。

这里解释下原理:

diff 复制代码
-   Canal 模拟 MySQL 主从复制的交互协议,把自己伪装成一个 MySQL 的从节点,向 MySQL 主节点发送 dump 请求,

MySQL 收到请求后,就会开始推送 Binlog 给 Canal,Canal 解析 Binlog 字节流之后,转换为便于读取的结构化数据,

供下游程序订阅使用.

-   客户端连接上 Canal 服务之后,可以从 Canal 服务拉取数据,每拉取一批数据,正确写入 Redis 之后,给 Canal 服务

返回处理成功的响应。

-   如果发生客户端程序宕机或者处理失败等异常情况,Canal 服务没收到处理成功的响应,下次客户端来拉取的还是同一

批数据,这样就可以保证顺序并且不会丢数据。

更新数据库的一条记录,canal客户端将从服务端拉取到更新后的数据出来解析。

然后在redis查询get canal:

这样就完成了基于binlog的canal到redis的同步!

相关推荐
一条Go4 小时前
状态页与 SLA:对外承诺是怎么算出来的
后端·架构·github
喵个咪5 小时前
GoWind IM 场景:乙方怎么用一套 IM 平台交付多个客户——档位、租户与离线交付
后端·go·saas
大胖爱学习_MJ6 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
知识搬运临时工6 小时前
双路服务器跑得比单路慢:JVM 没看见内存的距离
java·后端
Gopher_HBo6 小时前
mprof.go全程跟拍-跟着一个请求走完四种采集
后端
tong_li7 小时前
给娃做个 AI 陪写作业助手:LangChain4j 入门(三):配本古诗书(RAG 入门),答得不瞎编
后端
用户48678952533907 小时前
多租户第二集:读隔离做完之后,写路径才是真坑
后端
bai2737 小时前
同一个 1.005,toFixed 给 1.00、Math.round 给 1、Intl 给 1.01:999 个三分位小数的实测
javascript·后端
千寻技术帮7 小时前
基于Spring Boot+Vue的农产品销售管理系统(源码+文档+数据库,附部署教程)
java·数据库·spring boot·后端·mysql·vue
码云社区8 小时前
Spring Boot陪诊陪护系统源码:医院目录、服务项目与城市业务配置
java·spring boot·后端·陪诊陪护·医院陪诊·医院陪护·陪护小程序