Kafka集成Debezium监听postgresql变更

下载postgres的插件:https://debezium.io/documentation/reference/2.7/install.html

2.7版本支持postgresql12数据库。

debezium-connector-postgres-2.7.4.Final-plugin.tar.gz

上传插件并解压

cmd 复制代码
mkdir /usr/local/kafka/kafka_2.12-2.2.1/connector
cd /usr/local/kafka/kafka_2.12-2.2.1/connector
tar -zxvf debezium-connector-postgres-2.7.4.Final-plugin.tar.gz

进入kafka配置目录配置连接器(单机kafka)

cmd 复制代码
cd /usr/local/kafka/kafka_2.12-2.2.1/config
#修改配置
vi connect-standalone.properties
cmd 复制代码
#配置kafka地址
bootstrap.servers=192.168.159.100:9092

#采集的数据存储到kafka的数据格式
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

#是否存储schemas,存储则格式会复杂些
key.converter.schemas.enable=false
value.converter.schemas.enable=false

#插件的路径
plugin.path=/usr/local/kafka/kafka_2.12-2.2.1/connector

使用命令启动 Kafka Connect 服务(单机kafka)

cmd 复制代码
/usr/local/kafka/kafka_2.12-2.2.1/bin/connect-standalone.sh -daemon /usr/local/kafka/kafka_2.12-2.2.1/config/connect-standalone.properties /usr/local/kafka/kafka_2.12-2.2.1/config/connect-file-source.properties /usr/local/kafka/kafka_2.12-2.2.1/config/connect-file-sink.properties

配置Debezium Connector:

pgsql修改配置文件:postgresql.conf

cmd 复制代码
listen_addresses = '*'
#开启逻辑复制
wal_level = logical
# 允许多少个流复制协议连接过来,一个流复制协议会产生一个walsender进程,该数不能低于master的配置数量
max_wal_senders = 2	
max_replication_slots = 1

修改pg_hba.conf:

cmd 复制代码
#添加
host    all             all             0.0.0.0/0                 trust
host    replication     all             0.0.0.0.0                 trust

注册连接器:

json 复制代码
{
    "name": "my-postgresql-connector",
    "config": {
        "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
        "database.hostname": "192.168.159.103",
        "database.port": "15432",
        "database.dbname": "db_test",
        "database.user": "postgres",
        "database.password": "123456",
        "plugin.name": "pgoutput",
        "database.server.name": "server5",
        "topic.prefix": "linging"
    }
}

执行:

cmd 复制代码
curl -i -X POST -H "Accept:application/json" -H "Content-Type:application/json" 192.168.159.100:8083/connectors/ -d '{"name":"my-postgresql-connector","config":{"connector.class":"io.debezium.connector.postgresql.PostgresConnector","database.hostname":"192.168.159.103","database.port":"15432","database.dbname":"db_test","database.user":"postgres","database.password":"123456","plugin.name":"pgoutput","database.server.name":"server5","topic.prefix":"linging"}}'

修改数据库表,查看kafka消息:

相关推荐
Lansonli3 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
bksczm21 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh1 天前
RabbitMQ安装
分布式·rabbitmq
用户3610588626121 天前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
AI源码1 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou2 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯2 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence2 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626123 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi3 天前
Kafka消息中间件单机版安装配置
分布式·kafka