Flink OceanBase CDC 环境配置与验证

一、OceanBase 数据库核心配置

1. 环境准备与版本要求

• 版本要求：OceanBase CE 4.0+ 或 OceanBase EE 2.2+
• 组件依赖：需部署 LogProxy 服务（社区版/企业版部署方式不同）
• 兼容模式：支持 MySQL 模式（默认）和 Oracle 模式

2. 创建用户与权限配置

在 sys 租户创建管理用户（社区版示例）：

-- 连接 sys 租户（默认端口 2881）
mysql -h127.0.0.1 -P2881 -uroot@sys -p

-- 创建用户（替换为实际用户名密码）
CREATE USER 'ob_cdc_user' IDENTIFIED BY 'Ob@123456';
GRANT ALL PRIVILEGES ON *.* TO 'ob_cdc_user' WITH GRANT OPTION;
FLUSH PRIVILEGES;

在业务租户创建 CDC 用户：

-- 切换到业务租户（如 test_tenant）
USE test_tenant;

-- 创建 CDC 数据读取用户
CREATE USER 'flink_user' IDENTIFIED BY 'Flink@123';
GRANT SELECT ON test_db.* TO 'flink_user';
FLUSH PRIVILEGES;

3. 获取关键配置信息

社区版获取 rootserver-list：

-- 连接业务租户
mysql -h127.0.0.1 -P2881 -uflink_user -p

-- 查询 rootserver 列表（格式：ip:rpc_port:sql_port）
SHOW PARAMETERS LIKE 'rootservice_list';
-- 示例输出：rootservice_list | 127.0.0.1:2882:2881

企业版获取 config-url：

SHOW PARAMETERS LIKE 'obconfig_url';
-- 示例输出：obconfig_url | http://127.0.0.1:8080/services?Action=ObRootServiceInfo&...

4. 部署 LogProxy 服务（社区版快速启动）

# 下载 LogProxy 二进制（社区版）
wget https://github.com/oceanbase/oblogproxy/releases/download/v2.2.7/oblogproxy-2.2.7.tar.gz
tar -zxvf oblogproxy-2.2.7.tar.gz

# 编辑配置文件 oblogproxy.conf
vi oblogproxy/oblogproxy.conf
# 添加以下配置（根据实际情况修改）：
[common]
rootservice_list = "127.0.0.1:2882:2881"
logproxy_port = 2983
working_mode = "memory"

# 启动 LogProxy
cd oblogproxy
./oblogproxy -c oblogproxy.conf

二、Flink 环境集成配置

1. 添加Maven依赖

<!-- OceanBase CDC 连接器 -->
<dependency>
    <groupId>com.ververica</groupId>
    <artifactId>flink-sql-connector-oceanbase-cdc</artifactId>
    <version>3.0.1</version>
    <scope>provided</scope>
</dependency>

<!-- 企业版需添加OceanBase JDBC驱动 -->
<dependency>
    <groupId>com.oceanbase</groupId>
    <artifactId>oceanbase-client</artifactId>
    <version>2.4.2</version>
</dependency>

2. SQL Client部署

1. 下载 CDC 连接器 JAR：
   flink-sql-connector-oceanbase-cdc-3.0.1.jar
2. 企业版需额外下载 OceanBase JDBC 驱动：
   oceanbase-client-2.4.2.jar
3. 将 JAR 包放入 $FLINK_HOME/lib/ 后重启 Flink 集群。

三、Flink SQL 表定义与参数详解

1. MySQL 模式建表示例（含元数据）

-- 配置checkpoint
SET 'execution.checkpointing.interval' = '5s';

-- 创建OceanBase CDC表（MySQL模式）
CREATE TABLE ob_orders (
    order_id INT,
    order_date TIMESTAMP(0),
    customer_name STRING,
    price DECIMAL(10, 5),
    -- 元数据列
    tenant_name STRING METADATA FROM 'tenant_name' VIRTUAL,
    db_name STRING METADATA FROM 'database_name' VIRTUAL,
    table_name STRING METADATA FROM 'table_name' VIRTUAL,
    op_ts TIMESTAMP_LTZ(3) METADATA FROM 'op_ts' VIRTUAL,
    PRIMARY KEY(order_id) NOT ENFORCED
) WITH (
    'connector' = 'oceanbase-cdc',
    'scan.startup.mode' = 'initial',
    'username' = 'flink_user@test_tenant#ob_cluster',
    'password' = 'Flink@123',
    'tenant-name' = 'test_tenant',
    'database-name' = 'test_db',
    'table-name' = 'orders',
    'hostname' = '127.0.0.1',
    'port' = '2881',
    'rootserver-list' = '127.0.0.1:2882:2881',  -- 社区版必填
    'logproxy.host' = '127.0.0.1',
    'logproxy.port' = '2983',
    'working-mode' = 'memory'
);

2. Oracle 模式建表示例

CREATE TABLE ob_orders_oracle (
    order_id INT,
    order_date TIMESTAMP(0),
    customer_name STRING,
    -- 元数据列
    tenant_name STRING METADATA FROM 'tenant_name' VIRTUAL,
    op_ts TIMESTAMP_LTZ(3) METADATA FROM 'op_ts' VIRTUAL
) WITH (
    'connector' = 'oceanbase-cdc',
    'scan.startup.mode' = 'initial',
    'username' = 'flink_user@test_tenant#ob_cluster',
    'password' = 'Flink@123',
    'tenant-name' = 'test_tenant',
    'database-name' = 'test_db',
    'table-name' = 'orders',
    'hostname' = '127.0.0.1',
    'port' = '2881',
    'compatible-mode' = 'oracle',       -- 关键：设置Oracle兼容模式
    'jdbc.driver' = 'com.oceanbase.jdbc.Driver',  -- 企业版JDBC驱动
    'config-url' = 'http://127.0.0.1:8080/...',  -- 企业版必填
    'logproxy.host' = '127.0.0.1',
    'logproxy.port' = '2983'
);

3. 核心参数详解

参数名	必选	默认值	类型	说明
connector	是	无	String	固定为oceanbase-cdc
scan.startup.mode	是	无	String	启动模式：initial（快照+日志）、latest-offset（仅最新）、timestamp（指定时间）
tenant-name	是	无	String	目标租户名称（如test_tenant）
logproxy.host	是	无	String	LogProxy 服务IP
logproxy.port	是	无	Integer	LogProxy 服务端口（默认2983）
rootserver-list	社区版是	无	String	社区版rootserver列表（格式ip:rpc_port:sql_port）
config-url	企业版是	无	String	企业版配置服务URL
compatible-mode	否	mysql	String	兼容模式：mysql（默认）、oracle
jdbc.driver	企业版是	com.mysql.jdbc.Driver	String	企业版JDBC驱动类（com.oceanbase.jdbc.Driver）

四、环境验证与测试

1. 准备测试数据（OceanBase MySQL模式）

-- 连接业务租户
mysql -h127.0.0.1 -P2881 -uflink_user -p test_db

-- 创建测试表
CREATE TABLE orders (
    order_id INT PRIMARY KEY,
    order_date TIMESTAMP,
    customer_name VARCHAR(100),
    price DECIMAL(10, 2)
);

-- 插入数据
INSERT INTO orders VALUES 
(1, '2023-01-01 10:00:00', 'Alice', 100.50),
(2, '2023-01-02 11:00:00', 'Bob', 200.75);
COMMIT;

2. Flink SQL 验证

-- 查询OceanBase CDC表（首次触发快照）
SELECT * FROM ob_orders;

-- 在OceanBase中更新数据
UPDATE orders SET price = 150.00 WHERE order_id = 1;
COMMIT;

-- 观察Flink输出：应显示变更记录，op_ts为变更时间

3. DataStream API 验证（社区版）

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.cdc.connectors.oceanbase.OceanBaseSource;
import org.apache.flink.cdc.connectors.oceanbase.source.RowDataOceanBaseDeserializationSchema;
import org.apache.flink.table.data.RowData;
import org.apache.flink.table.types.logical.RowType;
import org.apache.flink.table.runtime.typeutils.InternalTypeInfo;
import org.apache.flink.table.types.logical.BigIntType;
import org.apache.flink.table.types.logical.VarcharType;

public class OceanBaseSourceExample {
    public static void main(String[] args) throws Exception {
        // 定义表结构
        RowType physicalType = RowType.of(
                RowType.Field.of("order_id", BigIntType.INSTANCE),
                RowType.Field.of("customer_name", VarcharType.of(100))
        );
        InternalTypeInfo<RowData> typeInfo = InternalTypeInfo.of(physicalType);

        // 配置OceanBase Source
        OceanBaseSource<RowData> source = OceanBaseSource.<RowData>builder()
                .rsList("127.0.0.1:2882:2881")  // 社区版rootserver-list
                .startupMode(StartupMode.INITIAL)
                .username("flink_user@test_tenant#ob_cluster")
                .password("Flink@123")
                .tenantName("test_tenant")
                .databaseName("test_db")
                .tableName("orders")
                .hostname("127.0.0.1")
                .port(2881)
                .logProxyHost("127.0.0.1")
                .logProxyPort(2983)
                .deserializer(RowDataOceanBaseDeserializationSchema.newBuilder()
                        .setPhysicalRowType(physicalType)
                        .setResultTypeInfo(typeInfo)
                        .build())
                .build();

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.enableCheckpointing(3000);
        env.fromSource(source, null, "OceanBase CDC Source")
            .print();
        env.execute("OceanBase CDC Test");
    }
}

五、常见问题与解决方案

1. LogProxy连接失败

   ERROR: Failed to connect to LogProxy at 127.0.0.1:2983

   • 解决方案：
     1. 确认LogProxy服务已启动且端口正确（netstat -an | grep 2983）
     2. 检查logproxy.host和logproxy.port配置是否与LogProxy一致

2. 权限不足（社区版）

   ERROR: Access denied for user 'flink_user'@'127.0.0.1'

   • 解决方案：
     • 确认用户在业务租户有SELECT权限
     • 检查用户名格式是否正确（user@tenant#cluster）

3. 企业版Oracle模式配置错误

   ERROR: incompatible-mode must be set for Oracle mode

   • 解决方案：
     • 显式设置compatible-mode = 'oracle'
     • 确保已添加oceanbase-client依赖并部署JDBC驱动

4. 时间戳转换异常

   • 解决方案：显式设置时区：

     'server-time-zone' = 'Asia/Shanghai'

六、生产环境优化建议

1. LogProxy性能调优

   • 设置working-mode = 'memory'（内存模式，适合高频变更）
   • 调整obcdc.properties.batch_size（如1024）优化批量处理

2. 高可用配置

   • 部署多节点LogProxy，Flink配置多个logproxy.host（逗号分隔）
   • 企业版使用config-url自动发现OB集群节点

3. 监控与清理

   • 定期清理LogProxy内存数据（working-mode = 'memory'时）：

     # 重启LogProxy或通过API清理

通过以上步骤，可完成Flink OceanBase CDC的全流程配置与验证。生产环境中需特别注意社区版与企业版的配置差异、LogProxy服务稳定性及兼容模式的正确设置，以确保数据一致性和系统稳定性。