技术聚焦:Debezium 如何将数据库数据精准注入 Kafka

#作者:任少近

文章目录

  • [第一章 Debezium抽取mysql数据给kafka原理](#第一章 Debezium抽取mysql数据给kafka原理)
  • [第二章 Debezium 与kafka抽取方法及验证](#第二章 Debezium 与kafka抽取方法及验证)
    • [2.1 debezium2.0+kafka3.3.1+mysql8](#2.1 debezium2.0+kafka3.3.1+mysql8)
    • [2.2 debezium2.0+kafka2.6.1+mysql8](#2.2 debezium2.0+kafka2.6.1+mysql8)
    • [2.3 debezium2.0+kafka2.6.1+mysql5.7](#2.3 debezium2.0+kafka2.6.1+mysql5.7)

第一章 Debezium抽取mysql数据给kafka原理

debezium的connector捕获到源数据库数据更新,发送到kafka集群中,利用kafka connect提供的sink connector,将数据同步到其他数据库,数据仓库等存储介质中。

上图中是采集mysql的binlog日志。真正主要的是SnapshotReader和BinlogReader,实现了对MySQL数据的全量读取和增量读取,采集到的数据默认一个表一个kafka topic,也可以指定topic名。将数据同步到其他系统、数据库、数据仓库等。

第二章 Debezium 与kafka抽取方法及验证

准备基于服务:

使用Debezium需要三个独立的服务:ZooKeeper、Kafka和Debezium connector服务

为了验证适配置版本问题,需要部署环境、安装部署:

复制代码
docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 -d quay.io/debezium/zookeeper:2.0
docker run -it --rm --name kafka -p 9092:9092 --link zookeeper:zookeeper -d quay.io/debezium/kafka:2.0
docker run -it --rm --name mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=debezium -e MYSQL_USER=mysqluser -e MYSQL_PASSWORD=mysqlpw -d quay.io/debezium/example-mysql:2.0
docker run -it --rm --name connect -p 8083:8083 -e GROUP_ID=1 -e CONFIG_STORAGE_TOPIC=my_connect_configs -e OFFSET_STORAGE_TOPIC=my_connect_offsets -e STATUS_STORAGE_TOPIC=my_connect_statuses --link kafka:kafka --link mysql:mysql -d quay.io/debezium/connect:2.0

情况如下:

2.1 debezium2.0+kafka3.3.1+mysql8

  • 官网最新稳定版debezium的为2.0版本
  • Mysql为Mysql 8.0.31版本
  • Kafka为3.3.1版本,scala为2.13版本
  • Zookeeper为3.6.3版本

验证如下:

配置文件说明:

复制代码
 { 
"name": "inventory-connector", 
"config": { 
//官方提供的类,已经写死,直接可以用
"connector.class": "io.debezium.connector.mysql.MySqlConnector", 

 "tasks.max": "1", 

"database.hostname": "mysql",
 "database.port": "3306", 
"database.user": "debezium", 
"database.password": "dbz", 
//这个连接器作为mysql一个slave来工作,ID可以随便写。
"database.server.id": "184054",
//作为topic的前缀 ,比如一个表生成一个topic可以这么命名
"topic.prefix": "dbserver1",  
// 选择某一个数据库
"database.include.list": "inventory",
//存一些历史记录,比如kafka的地址
 "schema.history.internal.kafka.bootstrap.servers": "kafka:9092",
//主要用来存储debezium的schema来用
 "schema.history.internal.kafka.topic": "schemahistory.inventory"
  }
 }'

插入数据验证:

查看下采集的binlog

复制代码
docker run -it --rm --name watcher --link zookeeper:zookeeper --link kafka:kafka quay.io/debezium/kafka:2.0 watch-topic -a -k dbserver1.inventory.customers

2.2 debezium2.0+kafka2.6.1+mysql8

  • 官网最新稳定版debezium的为2.0版本

  • Mysql为Mysql 8.0.31版本

  • Kafka为2.6.1,scala为2.12版本

  • Zookeeper为3.6.3版本

    对数据库进行操作:

    查看下采集的binlog

    docker run -it --rm --name watcher --link zookeeper:zookeeper --link kafka:kafka quay.io/debezium/kafka:1.4 watch-topic -a -k dbserver1.inventory.customers

2.3 debezium2.0+kafka2.6.1+mysql5.7

  • 官网最新稳定版debezium的为2.0版本

  • Mysql为5.7版本

  • Kafka为2.6.1

  • Zookeeper为3.6.3版本

    对数据库进行操作:

    查看下采集的binlog

    docker run -it --rm --name watcher --link zookeeper:zookeeper --link kafka:kafka quay.io/debezium/kafka:1.4 watch-topic -a -k dbserver1.inventory.customers

相关推荐
wyiyiyi42 分钟前
【Web后端】Django、flask及其场景——以构建系统原型为例
前端·数据库·后端·python·django·flask
天宇_任1 小时前
Mysql数据库迁移到GaussDB注意事项
数据库·mysql·gaussdb
喂完待续2 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构
xiep14383335104 小时前
Ubuntu 安装带证书的 etcd 集群
数据库·etcd
Java小白程序员5 小时前
Spring Framework:Java 开发的基石与 Spring 生态的起点
java·数据库·spring
老虎06275 小时前
数据库基础—SQL语句总结及在开发时
数据库·sql·oracle
爱掘金的土拨鼠7 小时前
国产化dm数据库锁表解锁
数据库
庖丁解java7 小时前
N个Utils
数据库
Mr. zhihao8 小时前
SQL LEFT JOIN 与 WHERE 条件的隐藏坑
数据库·sql
2301_793086878 小时前
Redis 04 Reactor
数据库·redis·缓存