技术聚焦:Debezium 如何将数据库数据精准注入 Kafka

#作者:任少近

文章目录

  • [第一章 Debezium抽取mysql数据给kafka原理](#第一章 Debezium抽取mysql数据给kafka原理)
  • [第二章 Debezium 与kafka抽取方法及验证](#第二章 Debezium 与kafka抽取方法及验证)
    • [2.1 debezium2.0+kafka3.3.1+mysql8](#2.1 debezium2.0+kafka3.3.1+mysql8)
    • [2.2 debezium2.0+kafka2.6.1+mysql8](#2.2 debezium2.0+kafka2.6.1+mysql8)
    • [2.3 debezium2.0+kafka2.6.1+mysql5.7](#2.3 debezium2.0+kafka2.6.1+mysql5.7)

第一章 Debezium抽取mysql数据给kafka原理

debezium的connector捕获到源数据库数据更新,发送到kafka集群中,利用kafka connect提供的sink connector,将数据同步到其他数据库,数据仓库等存储介质中。

上图中是采集mysql的binlog日志。真正主要的是SnapshotReader和BinlogReader,实现了对MySQL数据的全量读取和增量读取,采集到的数据默认一个表一个kafka topic,也可以指定topic名。将数据同步到其他系统、数据库、数据仓库等。

第二章 Debezium 与kafka抽取方法及验证

准备基于服务:

使用Debezium需要三个独立的服务:ZooKeeper、Kafka和Debezium connector服务

为了验证适配置版本问题,需要部署环境、安装部署:

复制代码
docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 -d quay.io/debezium/zookeeper:2.0
docker run -it --rm --name kafka -p 9092:9092 --link zookeeper:zookeeper -d quay.io/debezium/kafka:2.0
docker run -it --rm --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=debezium -e MYSQL_USER=mysqluser -e MYSQL_PASSWORD=mysqlpw -d quay.io/debezium/example-mysql:2.0
docker run -it --rm --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my_connect_configs -e OFFSET_STORAGE_TOPIC=my_connect_offsets -e STATUS_STORAGE_TOPIC=my_connect_statuses --link kafka:kafka --link mysql:mysql -d quay.io/debezium/connect:2.0

情况如下:

2.1 debezium2.0+kafka3.3.1+mysql8

  • 官网最新稳定版debezium的为2.0版本
  • Mysql为Mysql 8.0.31版本
  • Kafka为3.3.1版本,scala为2.13版本
  • Zookeeper为3.6.3版本

验证如下:

配置文件说明:

复制代码
 { 
"name": "inventory-connector", 
"config": { 
//官方提供的类,已经写死,直接可以用
"connector.class": "io.debezium.connector.mysql.MySqlConnector", 

 "tasks.max": "1", 

"database.hostname": "mysql",
 "database.port": "3306", 
"database.user": "debezium", 
"database.password": "dbz", 
//这个连接器作为mysql一个slave来工作,ID可以随便写。
"database.server.id": "184054",
//作为topic的前缀 ,比如一个表生成一个topic可以这么命名
"topic.prefix": "dbserver1",  
// 选择某一个数据库
"database.include.list": "inventory",
//存一些历史记录,比如kafka的地址
 "schema.history.internal.kafka.bootstrap.servers": "kafka:9092",
//主要用来存储debezium的schema来用
 "schema.history.internal.kafka.topic": "schemahistory.inventory"
  }
 }'

插入数据验证:

查看下采集的binlog

复制代码
docker run -it --rm --name watcher --link zookeeper:zookeeper --link kafka:kafka quay.io/debezium/kafka:2.0 watch-topic -a -k dbserver1.inventory.customers

2.2 debezium2.0+kafka2.6.1+mysql8

  • 官网最新稳定版debezium的为2.0版本

  • Mysql为Mysql 8.0.31版本

  • Kafka为2.6.1,scala为2.12版本

  • Zookeeper为3.6.3版本

    对数据库进行操作:

    查看下采集的binlog

    docker run -it --rm --name watcher --link zookeeper:zookeeper --link kafka:kafka quay.io/debezium/kafka:1.4 watch-topic -a -k dbserver1.inventory.customers

2.3 debezium2.0+kafka2.6.1+mysql5.7

  • 官网最新稳定版debezium的为2.0版本

  • Mysql为5.7版本

  • Kafka为2.6.1

  • Zookeeper为3.6.3版本

    对数据库进行操作:

    查看下采集的binlog

    docker run -it --rm --name watcher --link zookeeper:zookeeper --link kafka:kafka quay.io/debezium/kafka:1.4 watch-topic -a -k dbserver1.inventory.customers

相关推荐
ACRELKY3 小时前
光伏运维迎来云端革命!AcrelCloud-1200如何破解分布式光伏四大痛点?
运维·分布式
阿里小阿希4 小时前
Vue3 + Element Plus 项目中日期时间处理的最佳实践与数据库设计规范
数据库·设计规范
白鹭5 小时前
MySQL源码部署(rhel7)
数据库·mysql
666和7775 小时前
Struts2 工作总结
java·数据库
还听珊瑚海吗5 小时前
SpringMVC(一)
数据库
子非鱼@Itfuture6 小时前
【Kafka】Kafka使用场景用例&Kafka用例图
分布式·中间件·kafka
星期天要睡觉6 小时前
MySQL 综合练习
数据库·mysql
Y4090016 小时前
数据库基础知识——聚合函数、分组查询
android·数据库