Clickhouse学习笔记(13)—— Materialize MySQL引擎

该引擎用于监听 binlog 事件,类似于canal、Maxwell等组件

ClickHouse 20.8.2.3 版本新增加了 MaterializeMySQL 的 database 引擎,该 database 能映射到 MySQL中的某个database ,并自动在ClickHouse中创建对应ReplacingMergeTree

ClickHouse 服务作为 MySQL 副本,读取 Binlog 并执行 DDL 和 DML 请求,实现了基于 MySQL Binlog 机制的业务数据库实时同步功能

MaterializeMySQL的特点

  1. MaterializeMySQL 同时支持全量和增量同步,在 database 创建之初会全量同步MySQL 中的表和数据,之后则会通过 binlog 进行增量同步
  2. MaterializeMySQL database 为其所创建的每张 ReplacingMergeTree 自动增加了_sign 和 _version 字段
    1. _version 用作 ReplacingMergeTree 的版本参数,每当监听到 insert、update 和 delete 事件时,在 databse 内全局自增
    2. **_sign**则用于标记是否被删除,取值 1 (未删除)或者 -1(已删除)

MaterializeMySQL的使用规则

DDL查询

MySQL DDL 查询被转换成相应的 ClickHouse DDL 查询(ALTER, CREATE, DROP, RENAME)。如果 ClickHouse 不能解析某些 DDL 查询,该查询将被忽略

数据复制

MaterializeMySQL 不支持直接插入、删除和更新查询,而是将 DDL 语句进行相应转换:

MySQL INSERT 查询被转换为 INSERT with _sign=1。

MySQL DELETE 查询被转换为 INSERT with _sign=-1。

MySQL UPDATE 查询被转换成 INSERT with _sign=1 和 INSERT with _sign=-1

SELECT 查询

  1. 如果在 SELECT 查询中没有指定_version,则使用 FINAL 修饰符,返回**_version 的最大值对应的数据**,即最新版本的数据。
  2. 如果在 SELECT 查询中没有指定_sign,则默认使用 WHERE _sign=1,即返回未删除状态(_sign=1)的数据

索引转换

ClickHouse 数据库表会自动将 MySQL 主键和索引子句转换为 ORDER BY 元组

测试

MySQL开启binlog功能

打开/etc/my.cnf,在[mysqld]下添加:

bash 复制代码
server-id=1 
log-bin=mysql-bin
binlog_format=ROW

开启binlog功能,并设置格式为row

开启 GTID 模式

在 mysql 主从模式下可以确保数据同步的一致性,防止主从切换时漏掉数据

bash 复制代码
gtid-mode=on
enforce-gtid-consistency=1 # 设置为主从强一致性
log-slave-updates=1 # 记录日志

GTID 是 MySQL 复制增强版,从 MySQL 5.6 版本开始支持;它为每个 event 分配一个全局唯一 ID 和序号,我们可以不用关心 MySQL 集群主从拓扑结构,直接告知 MySQL 这个 GTID 即可。

之后重启MySQL服务

准备MySQL数据表

sql 复制代码
CREATE DATABASE testck; 

CREATE TABLE `testck`.`t_organization` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `code` int NOT NULL,
  `name` text DEFAULT NULL,
  `updatetime` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY (`code`)
) ENGINE=InnoDB;

INSERT INTO testck.t_organization (code, name,updatetime) 
VALUES(1000,'Realinsight',NOW());
INSERT INTO testck.t_organization (code, name,updatetime) 
VALUES(1001, 'Realindex',NOW());
INSERT INTO testck.t_organization (code, name,updatetime) 
VALUES(1002,'EDT',NOW());

clickhouse创建MaterializeMySQL 数据库

首先开启物化引擎:

set allow_experimental_database_materialize_mysql=1;

然后创建数据库(注意:MaterializeMySQL是数据库对数据库的同步)

sql 复制代码
CREATE DATABASE test_binlog ENGINE = MaterializeMySQL('hadoop102:3306','testck','root','hadoop');

创建完成后即可查看其中的表:

sql 复制代码
select * from t_organization;

成功查询到数据:

数据修改

在mysql中修改:

sql 复制代码
update t_organization set name = CONCAT(name,'-v1') where id = 1

clickhouse中查询:

数据删除

mysql删除数据:

sql 复制代码
DELETE FROM t_organization where id = 2;

clickhouse中查询:

数据成功删除

查看version和sign

sql 复制代码
select *,_sign,_version from t_organization order by _sign desc,_version desc;

结果如下:

因此可以看到,数据并没有真正的删除,只是通过_sign来进行了隐藏;

相关推荐
左灯右行的爱情1 分钟前
缓存并发更新的挑战
jvm·数据库·redis·后端·缓存
四夕白告木贞2 分钟前
stm32week13
stm32·单片机·嵌入式硬件·学习
九亿AI算法优化工作室&4 分钟前
结合大语言模型的机械臂抓取操作学习
人工智能·学习·语言模型·自然语言处理
kaamelai4 分钟前
Kaamel视角下的MCP安全最佳实践
大数据·人工智能·安全
anqi2714 分钟前
如何在 IntelliJ IDEA 中编写 Speak 程序
java·大数据·开发语言·spark·intellij-idea
Qiuner40 分钟前
软件设计师速通其一:计算机内部数据表示
服务器·数据库·信号处理
我想吃余44 分钟前
Linux学习笔记(一):Linux下的基本指令
linux·笔记·学习
互联科技报1 小时前
孙宇晨将出席迪拜Token2049 与特朗普次子共话加密未来
大数据
njsgcs1 小时前
yolov5 源码 +jupyter notebook 笔记 kaggle
笔记·yolo·jupyter
科技小E1 小时前
EasyRTC嵌入式音视频通信SDK智能安防与监控系统的全方位升级解决方案
大数据·网络·人工智能·音视频