说明:canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费(官方介绍)。一言以蔽之,Canal是一款实现数据同步的组件。可以实现数据库之间、数据库与Redis、ES之间的数据同步。本文介绍Canal的入门使用。
Canal介绍
Canal实现原理是伪装成MySQL主节点的从节点,接收主节点的binlog日志,解析、提取数据库操作,将对数据库的操作通过代码更新到其他组件中,如其他数据库、ES、Redis等,官方解释如下:
官方提供的结构图如下:
Canal安装
首先,从官网上下载Canal服务器,地址:https://github.com/alibaba/canal/releases
下载下来,解压,如下:
canal配置文件暂时不用管,先修改一下example
文件中监测的目前节点配置,修改成自己需要监测的MySQL配置,如下:
修改完,启动canal服务,双击startup.bat
文件,如下:
Canal使用
只要你的MySQL服务器的IP、账号密码没输错,且测试过能用Navicat或其他数据库连接工具成功连接数据库,那么就可以进行下面的编码工作了。
首先,创建一个Maven项目,pom.xml如下,导个canal依赖就行了
xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.hezy</groupId>
<artifactId>canal_demo</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>11</maven.compiler.source>
<maven.compiler.target>11</maven.compiler.target>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<!--canal客户端-->
<dependency>
<groupId>top.javatool</groupId>
<artifactId>canal-spring-boot-starter</artifactId>
<version>1.2.1-RELEASE</version>
</dependency>
</dependencies>
</project>
测试代码如下,用来连接canal服务器,打印canal监测到的数据内容;
java
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.ByteString;
import com.google.protobuf.InvalidProtocolBufferException;
import java.net.InetSocketAddress;
import java.util.HashMap;
import java.util.List;
/**
* Canal处理器
* 作用:打印canal服务器监测到的数据
*/
public class CanalHandler {
public static void main(String[] args) throws InvalidProtocolBufferException {
// 1.创建连接
CanalConnector canalConnector = CanalConnectors
.newSingleConnector(new InetSocketAddress("localhost", 11111), "example", "", "");
// 2.抓取数据
while (true) {
// 3.开始连接
canalConnector.connect();
// 4.订阅数据,所有的库和表
canalConnector.subscribe(".*\\..*");
// 5.抓取数据,每次抓取100条
Message message = canalConnector.get(100);
// 6.获取entry集合
List<CanalEntry.Entry> entries = message.getEntries();
// 7.判断是否有数据
if (entries.size() == 0) {
System.out.println(">>>暂无数据<<<");
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
} else {
// 8.解析数据
for (CanalEntry.Entry entry : entries) {
// 获取表名
String tableName = entry.getHeader().getTableName();
// 获取操作类型
CanalEntry.EntryType entryType = entry.getEntryType();
// 判断entryType是否为ROWDATA
if (CanalEntry.EntryType.ROWDATA.equals(entryType)) {
// 序列化数据
ByteString storeValue = entry.getStoreValue();
// 反序列化数据
CanalEntry.RowChange rowChange = CanalEntry.RowChange.parseFrom(storeValue);
// 获取事件类型
CanalEntry.EventType eventType = rowChange.getEventType();
// 获取具体的数据
List<CanalEntry.RowData> rowDatasList = rowChange.getRowDatasList();
// 遍历打印
for (CanalEntry.RowData rowData : rowDatasList) {
// 获取拉取前后的数据
List<CanalEntry.Column> beforeColumnsList = rowData.getBeforeColumnsList();
List<CanalEntry.Column> afterColumnsList = rowData.getAfterColumnsList();
// 用Map存储每条数据
HashMap<String, Object> beforeMap = new HashMap<>();
HashMap<String, Object> afterMap = new HashMap<>();
// 获取不同操作的数据
if (CanalEntry.EventType.INSERT.equals(eventType)) {
System.out.println("【" + tableName + "】表插入数据");
for (CanalEntry.Column column : afterColumnsList) {
afterMap.put(column.getName(), column.getValue());
}
System.out.println("新增数据:" + afterMap);
} else if (CanalEntry.EventType.UPDATE.equals(eventType)) {
System.out.println("【" + tableName + "】表更新数据");
for (CanalEntry.Column column : beforeColumnsList) {
beforeMap.put(column.getName(), column.getValue());
}
System.out.println("更新前:" + beforeMap);
System.out.println("----");
for (CanalEntry.Column column : afterColumnsList) {
afterMap.put(column.getName(), column.getValue());
}
System.out.println("更新后:" + afterMap);
} else if (CanalEntry.EventType.DELETE.equals(eventType)) {
System.out.println("【" + tableName + "】表删除数据");
for (CanalEntry.Column column : beforeColumnsList) {
beforeMap.put(column.getName(), column.getValue());
}
System.out.println("被删除的数据:" + beforeMap);
}
}
}
}
}
}
}
}
启动程序,查看控制台,检测中......
使用Navicat连接数据库,查看数据库test库,i_user表内容;
此时,我们新增一条数据,看控制台,canal成功接收到了这次修改;
更新数据;
删除数据;
头能过身体就能过,接下来不就好办了。将Canal接收到的数据转为对象,根据不同的操作类型分发给自己想要同步的组件,同步给从MySQL,就调用对应的Mapper;同步给Redis,就调用Redis对应的方法,ES同样。
总结
本文介绍了Canal入门使用,参考B站视频: