Debezium日常分享系列之：在 OpenShift 上部署 Debezium

最笨的羊羊2023-07-25 13:01

Debezium日常分享系列之：在 OpenShift 上部署 Debezium

此过程用于在 Red Hat 的 OpenShift 容器平台上设置 Debezium 连接器。要在 OpenShift 上进行开发或测试，您可以使用 CodeRady 容器。

一、先决条件

为了使容器与集群上的其他工作负载分开，请为 Debezium 创建一个专用项目。在本文档的其余部分中，将使用 debezium-example 命名空间：

bash 复制代码 
oc new-project debezium-example

二、部署 Strimzi Operator

对于 Debezium 部署，我们将使用 Strimzi 项目，该项目管理 OpenShift 集群上的 Kafka 部署。安装 Strimzi 最简单的方法是从 OperatorHub 安装 Strimzi 操作器。导航到 OpenShift UI 中的"OperatorHub"选项卡，选择"Strimzi"并单击"安装"按钮。

如果您更喜欢命令行工具，也可以通过以下方式安装 Strimzi 操作符：

bash 复制代码 
使用"<<"操作符和"oc create"命令来创建一个Kubernetes对象。通过将以下内容复制到终端中并按下Enter键执行命令：

cat << EOF | oc create -f -
<对象配置内容>
EOF

请将"<对象配置内容>"替换为您要创建的Kubernetes对象的配置。将其粘贴到命令中并按下Enter键，Kubernetes将创建该对象。
bash 复制代码 
$ cat << EOF | oc create -f -
apiVersion: operators.coreos.com/v1alpha1
kind: Subscription
metadata:
  name: my-strimzi-kafka-operator
  namespace: openshift-operators
spec:
  channel: stable
  name: strimzi-kafka-operator
  source: operatorhubio-catalog
  sourceNamespace: olm
EOF

三、为数据库创建机密

稍后，在部署 Debezium Kafka 连接器时，我们需要提供连接器的用户名和密码才能连接到数据库。出于安全原因，最好不要直接提供凭据，而是将它们保存在单独的安全位置。 OpenShift 为此提供了 Secret 对象。除了创建 Secret 对象本身之外，我们还必须创建一个角色和角色绑定，以便 Kafka 可以访问凭证。

我们先创建 Secret 对象：

bash 复制代码 
$ cat << EOF | oc create -f -
apiVersion: v1
kind: Secret
metadata:
  name: debezium-secret
  namespace: debezium-example
type: Opaque
data:
  username: ZGViZXppdW0=
  password: ZGJ6
EOF

用户名和密码包含用于连接 MySQL 数据库的 Base64 编码凭据 (debezium/dbz)，我们稍后将部署该数据库。

现在，我们可以创建一个角色，它引用上一步中创建的秘密：

bash 复制代码 
$ cat << EOF | oc create -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: connector-configuration-role
  namespace: debezium-example
rules:
- apiGroups: [""]
  resources: ["secrets"]
  resourceNames: ["debezium-secret"]
  verbs: ["get"]
EOF

我们还必须将此角色绑定到 Kafka Connect 集群服务帐户，以便 Kafka Connect 可以访问密钥：

bash 复制代码 
$ cat << EOF | oc create -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: connector-configuration-role-binding
  namespace: debezium-example
subjects:
- kind: ServiceAccount
  name: debezium-connect-cluster-connect
  namespace: debezium-example
roleRef:
  kind: Role
  name: connector-configuration-role
  apiGroup: rbac.authorization.k8s.io
EOF

一旦我们部署 Kafka Connect，服务帐户将由 Strimzi 创建。服务帐户的名称采用 $KafkaConnectName-connect 形式。稍后，我们将创建名为 debezium-connect-cluster 的 Kafka Connect 集群，因此我们在这里使用 debezium-connect-cluster-connect 作为 subject.name。

四、部署Apache Kafka

接下来，部署一个（单节点）Kafka 集群：

bash 复制代码 
$ cat << EOF | oc create -n debezium-example -f -
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: debezium-cluster
spec:
  kafka:
    replicas: 1
    listeners:
      - name: plain
        port: 9092
        type: internal
        tls: false
      - name: tls
        port: 9093
        type: internal
        tls: true
        authentication:
          type: tls
      - name: external
        port: 9094
        type: nodeport
        tls: false
    storage:
      type: jbod
      volumes:
      - id: 0
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
    config:
      offsets.topic.replication.factor: 1
      transaction.state.log.replication.factor: 1
      transaction.state.log.min.isr: 1
      default.replication.factor: 1
      min.insync.replicas: 1
  zookeeper:
    replicas: 1
    storage:
      type: persistent-claim
      size: 100Gi
      deleteClaim: false
  entityOperator:
    topicOperator: {}
    userOperator: {}
EOF

等待它准备好：

bash 复制代码 
oc wait kafka/debezium-cluster --for=condition=Ready --timeout=300s

五、部署数据源

下面将使用MySQL作为数据源。除了使用 MySQL 运行 pod 之外，还需要一个适当的服务来指向带有 DB 本身的 pod。它可以被创建，例如如下：

bash 复制代码 
$ cat << EOF | oc create -f -
apiVersion: v1
kind: Service
metadata:
  name: mysql
spec:
  ports:
  - port: 3306
  selector:
    app: mysql
  clusterIP: None
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql
spec:
  selector:
    matchLabels:
      app: mysql
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - image: quay.io/debezium/example-mysql:2.3
        name: mysql
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: debezium
        - name: MYSQL_USER
          value: mysqluser
        - name: MYSQL_PASSWORD
          value: mysqlpw
        ports:
        - containerPort: 3306
          name: mysql
EOF

六、部署 Debezium 连接器

要部署 Debezium 连接器，您需要在实例化实际连接器本身之前部署具有所需连接器插件的 Kafka Connect 集群。第一步，必须创建带有插件的 Kafka Connect 容器映像。如果您已经构建了容器镜像并在注册表中可用，则可以跳过此步骤。本文档以MySQL连接器为例。

创建 Kafka Connect 集群

同样，我们将使用 Strimzi 来创建 Kafka Connect 集群。 Strimzi 还可以用于为我们构建和推送所需的容器镜像。事实上，这两个任务可以合并在一起，并且可以直接在 KafkaConnect 对象规范中提供构建容器映像的说明：

bash 复制代码 
$ cat << EOF | oc create -f -
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: debezium-connect-cluster
  annotations:
    strimzi.io/use-connector-resources: "true"
spec:
  version: 3.1.0
  replicas: 1
  bootstrapServers: debezium-cluster-kafka-bootstrap:9092
  config:
    config.providers: secrets
    config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider
    group.id: connect-cluster
    offset.storage.topic: connect-cluster-offsets
    config.storage.topic: connect-cluster-configs
    status.storage.topic: connect-cluster-status
    # -1 means it will use the default replication factor configured in the broker
    config.storage.replication.factor: -1
    offset.storage.replication.factor: -1
    status.storage.replication.factor: -1
  build:
    output:
      type: docker
      image: image-registry.openshift-image-registry.svc:5000/debezium-example/debezium-connect-mysql:latest
    plugins:
      - name: debezium-mysql-connector
        artifacts:
          - type: tgz
            url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/{debezium-version}/debezium-connector-mysql-{debezium-version}-plugin.tar.gz
EOF

在这里，我们利用了 OpenShift 内置注册表，它已经作为服务在 OpenShift 集群上运行。

为简单起见，我们跳过了下载工件的校验和验证。如果您想确保工件已正确下载，请通过 sha512sum 属性指定其校验和。

如果您在本地或远程注册表（例如 quay.io 或 DockerHub）中已经有合适的容器映像，则可以使用此简化版本：

bash 复制代码 
$ cat << EOF | oc create -f -
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: debezium-connect-cluster
  annotations:
    strimzi.io/use-connector-resources: "true"
spec:
  version: 3.1.0
  image: 10.110.154.103/debezium-connect-mysql:latest
  replicas: 1
  bootstrapServers: debezium-cluster-kafka-bootstrap:9092
  config:
    config.providers: secrets
    config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider
    group.id: connect-cluster
    offset.storage.topic: connect-cluster-offsets
    config.storage.topic: connect-cluster-configs
    status.storage.topic: connect-cluster-status
    # -1 means it will use the default replication factor configured in the broker
    config.storage.replication.factor: -1
    offset.storage.replication.factor: -1
    status.storage.replication.factor: -1
EOF

您还可以注意到，我们已将机密提供程序配置为使用 Strimzi 机密提供程序 Strimzi 机密提供程序将为该 Kafka Connect 集群创建服务帐户（我们已将其绑定到适当的角色），并允许 Kafka Connect 访问我们的 Secret 对象。

在创建 Debezium 连接器之前，请检查所有 pod 是否已在运行：

七、创建 Debezium 连接器

要创建 Debezium 连接器，您只需创建具有适当配置的 KafkaConnector，在本例中为 MySQL：

bash 复制代码 
$ cat << EOF | oc create -f -
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnector
metadata:
  name: debezium-connector-mysql
  labels:
    strimzi.io/cluster: debezium-connect-cluster
spec:
  class: io.debezium.connector.mysql.MySqlConnector
  tasksMax: 1
  config:
    tasks.max: 1
    database.hostname: mysql
    database.port: 3306
    database.user: ${secrets:debezium-example/debezium-secret:username}
    database.password: ${secrets:debezium-example/debezium-secret:password}
    database.server.id: 184054
    topic.prefix: mysql
    database.include.list: inventory
    schema.history.internal.kafka.bootstrap.servers: debezium-cluster-kafka-bootstrap:9092
    schema.history.internal.kafka.topic: schema-changes.inventory
EOF

您可以注意到，我们在连接器配置中没有使用纯文本用户名和密码，而是引用我们之前创建的 Secret 对象。

八、验证部署

要验证一切正常，您可以例如开始观看 mysql.inventory.customers Kafka 主题：

bash 复制代码 
$ oc run -n debezium-example -it --rm --image=quay.io/debezium/tooling:1.2  --restart=Never watcher -- kcat -b debezium-cluster-kafka-bootstrap:9092 -C -o beginning -t mysql.inventory.customers

连接MySQL数据库：

bash 复制代码 
$ oc run -n debezium-example -it --rm --image=mysql:8.0 --restart=Never --env MYSQL_ROOT_PASSWORD=debezium mysqlterm -- mysql -hmysql -P3306 -uroot -pdebezium

在客户表中做一些更改：

bash 复制代码 
sql> update customers set first_name="Sally Marie" where id=1001;

您现在应该能够观察 Kafka 主题上的更改事件：

bash 复制代码 
{
...
  "payload": {
    "before": {
      "id": 1001,
      "first_name": "Sally",
      "last_name": "Thomas",
      "email": "sally.thomas@acme.com"
    },
    "after": {
      "id": 1001,
      "first_name": "Sally Marie",
      "last_name": "Thomas",
      "email": "sally.thomas@acme.com"
    },
    "source": {
      "version": "{debezium-version}",
      "connector": "mysql",
      "name": "mysql",
      "ts_ms": 1646300467000,
      "snapshot": "false",
      "db": "inventory",
      "sequence": null,
      "table": "customers",
      "server_id": 223344,
      "gtid": null,
      "file": "mysql-bin.000003",
      "pos": 401,
      "row": 0,
      "thread": null,
      "query": null
    },
    "op": "u",
    "ts_ms": 1646300467746,
    "transaction": null
  }
}
相关推荐
SlothLu4 天前
Debezium-MySqlConnectorTask
java·大数据·数据库·多线程·数据库开发·debezium·数据迁移
最笨的羊羊4 天前
Debezium日常分享系列之：Debezium3版本Debezium connector for JDBC
jdbc·debezium日常分享系列·debezium·connector·debezium3版本
SlothLu4 天前
Debezium-EmbeddedEngine
java·数据库·设计模式·database·多线程·debezium·数据迁移
最笨的羊羊7 天前
Debezium日常分享系列之：异步 Debezium 嵌入式引擎
debezium·日常分享系列·异步·嵌入式引擎
最笨的羊羊10 天前
日常分享系列之：学习mysql-binlog-connector-java
java·mysql·binlog·日常分享系列·connector
CSDN云计算15 天前
如何以开源加速AI企业落地，红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
RedCong20 天前
通过route访问Openshift上的HTTP request报错504 Gateway Time-out【已解决】
http·gateway·openshift
RedCong25 天前
Openshift上使用Elasticsearch (ECK) Operator部署ES
elasticsearch·openshift·1024程序员节
RedCong1 个月前
Openshift安装后配置（设置时区为中国）
openshift
dawnsky.liu1 个月前
OpenShift 4 - 云原生备份容灾 - Velero 和 OADP 基础篇
云原生·openshift·备份容灾
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作