Kafka集成Debezium监听postgresql变更

下载postgres的插件:https://debezium.io/documentation/reference/2.7/install.html

2.7版本支持postgresql12数据库。

debezium-connector-postgres-2.7.4.Final-plugin.tar.gz

上传插件并解压

cmd 复制代码
mkdir /usr/local/kafka/kafka_2.12-2.2.1/connector
cd /usr/local/kafka/kafka_2.12-2.2.1/connector
tar -zxvf debezium-connector-postgres-2.7.4.Final-plugin.tar.gz

进入kafka配置目录配置连接器(单机kafka)

cmd 复制代码
cd /usr/local/kafka/kafka_2.12-2.2.1/config
#修改配置
vi connect-standalone.properties
cmd 复制代码
#配置kafka地址
bootstrap.servers=192.168.159.100:9092

#采集的数据存储到kafka的数据格式
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

#是否存储schemas,存储则格式会复杂些
key.converter.schemas.enable=false
value.converter.schemas.enable=false

#插件的路径
plugin.path=/usr/local/kafka/kafka_2.12-2.2.1/connector

使用命令启动 Kafka Connect 服务(单机kafka)

cmd 复制代码
/usr/local/kafka/kafka_2.12-2.2.1/bin/connect-standalone.sh -daemon /usr/local/kafka/kafka_2.12-2.2.1/config/connect-standalone.properties /usr/local/kafka/kafka_2.12-2.2.1/config/connect-file-source.properties /usr/local/kafka/kafka_2.12-2.2.1/config/connect-file-sink.properties

配置Debezium Connector:

pgsql修改配置文件:postgresql.conf

cmd 复制代码
listen_addresses = '*'
#开启逻辑复制
wal_level = logical
# 允许多少个流复制协议连接过来,一个流复制协议会产生一个walsender进程,该数不能低于master的配置数量
max_wal_senders = 2	
max_replication_slots = 1

修改pg_hba.conf:

cmd 复制代码
#添加
host    all             all             0.0.0.0/0                 trust
host    replication     all             0.0.0.0.0                 trust

注册连接器:

json 复制代码
{
    "name": "my-postgresql-connector",
    "config": {
        "connector.class": "io.debezium.connector.postgresql.PostgresConnector",
        "database.hostname": "192.168.159.103",
        "database.port": "15432",
        "database.dbname": "db_test",
        "database.user": "postgres",
        "database.password": "123456",
        "plugin.name": "pgoutput",
        "database.server.name": "server5",
        "topic.prefix": "linging"
    }
}

执行:

cmd 复制代码
curl -i -X POST -H "Accept:application/json" -H "Content-Type:application/json" 192.168.159.100:8083/connectors/ -d '{"name":"my-postgresql-connector","config":{"connector.class":"io.debezium.connector.postgresql.PostgresConnector","database.hostname":"192.168.159.103","database.port":"15432","database.dbname":"db_test","database.user":"postgres","database.password":"123456","plugin.name":"pgoutput","database.server.name":"server5","topic.prefix":"linging"}}'

修改数据库表,查看kafka消息:

相关推荐
白鹭42 分钟前
基于LNMP架构的分布式个人博客搭建
linux·运维·服务器·网络·分布式·apache
不辉放弃1 小时前
kafka的消费者负载均衡机制
数据库·分布式·kafka·负载均衡
angushine2 小时前
logstash采集springboot微服务日志
spring boot·微服务·linq
java叶新东老师3 小时前
三、搭建springCloudAlibaba2021.1版本分布式微服务-springcloud loadbalancer负载均衡
分布式·spring cloud·微服务
沉下去,苦磨练!5 小时前
kafka的部署和jmeter连接kafka
分布式·jmeter·kafka
shinelord明7 小时前
【计算机网络架构】网状型架构简介
大数据·分布式·计算机网络·架构·计算机科学与技术
物联网软硬件开发-轨物科技10 小时前
【轨物洞见】光伏逆变器数据:分布式电站价值回归的“第一块多米诺骨牌”
分布式
java叶新东老师11 小时前
四、搭建springCloudAlibaba2021.1版本分布式微服务-加入openFeign远程调用和sentinel流量控制
分布式·微服务·sentinel
java叶新东老师11 小时前
五、搭建springCloudAlibaba2021.1版本分布式微服务-gateway网关
分布式·微服务·gateway
黄雪超11 小时前
Kafka——消费者组消费进度监控都怎么实现?
大数据·分布式·kafka