Flink 实时数据处理中的问题与解决方案

在使用 Flink 进行实时数据加工时，连接 MySQL 数据源是一项常见的任务。本文将详细描述在我使用 Flink 进行 MySQL 数据实时加工时遇到的一些问题，以及如何解决这些问题。

我用的Flink版本是1.20.0

问题一：jar 包版本不匹配

错误信息

在连接 MySQL 时，报错如下：

go 复制代码

java.lang.NoSuchMethodError: 'java.lang.String com.mysql.cj.CharsetMapping.getStaticJavaEncodingForMysqlCharset(java.lang.String)'
   at io.debezium.connector.mysql.MySqlConnection$CharsetMappingWrapper.getJavaEncodingForMysqlCharSet(MySqlConnection.java:554) ~[flink-sql-connector-mysql-cdc-3.2.1.jar:3.2.1]
   at io.debezium.connector.mysql.MySqlConnection.getJavaEncodingForMysqlCharSet(MySqlConnection.java:548) ~[flink-sql-connector-mysql-cdc-3.2.1.jar:3.2.1]
   at io.debezium.connector.mysql.MySqlValueConverters.charsetFor(MySqlValueConverters.java:382) ~[flink-sql-connector-mysql-cdc-3.2.1.jar:3.2.1]

原因分析

该错误表明 flink-sql-connector-mysql-cdc 使用的 MySQL 驱动版本与当前项目的 MySQL 驱动版本不匹配。具体来说，com.mysql.cj.CharsetMapping.getStaticJavaEncodingForMysqlCharset 方法是 MySQL 驱动较新版本中引入的，如果使用的是较旧版本的 MySQL 驱动，就会出现 NoSuchMethodError。

解决方案

1. 检查当前项目中使用的 MySQL 驱动版本。
1. 升级 MySQL 驱动版本，确保与 flink-sql-connector-mysql-cdc 兼容。推荐使用 MySQL Connector/J 8.0.28 或更高版本。
1. 下载与 Flink MySQL CDC 连接器兼容的 JAR 文件：

• mysql-connector-j-8.0.33.jar
• flink-sql-connector-mysql-cdc-3.2.1.jar
• flink-connector-jdbc-3.2.0-1.19.jar

问题二：JDK 版本不匹配

错误信息

go 复制代码

java.lang.UnsupportedClassVersionError:io/debezium/connector/mysql/MySqlConnectorConfighasbeencompiledbyamorerecentversionoftheJavaRuntime(class file version 61.0),thisversionoftheJavaRuntimeonlyrecognizesclassfileversionsupto 52.0

原因分析

这个错误表明，Debezium 依赖库是用较新的 JDK 版本编译的，而当前 Java 运行时版本（Java 8）不支持该类文件。Debezium 需要至少 Java 17（版本 61.0）来运行。

解决方案

升级 Java 运行时到 Java 17 或更高版本。可以通过以下命令来下载并安装 Java 17：

go 复制代码

wget https://github.com/adoptium/temurin17-binaries/releases/download/jdk-17.0.8.1+1/OpenJDK17U-jdk_x64_linux_hotspot_17.0.8.1_1.tar.gz
tar xzf OpenJDK17U-jdk_x64_linux_hotspot_17.0.8.1_1.tar.gz -C /usr/local/

让 Debezium 使用 Java 17，而其他应用仍使用 Java 8。

系统全局环境变量仍指向 Java 8

修改启动脚本 start-cluster.sh，在脚本顶部添加以下内容，指定需要的 Java 版本路径：

go 复制代码

#!/usr/bin/env bash
export JAVA_HOME=/usr/local/jdk-17
export PATH=$JAVA_HOME/bin:$PATH

问题三：Flink 任务异常停止，但仍继续读取 Binlog

在运行 Flink 任务时，即使执行了 ./stop-cluster.sh 停止了 Flink 集群，任务依然继续同步 Binlog。

可以看到，flink-sql-client-1.20.0.jar 依然在执行。这时，需要手动杀掉进程，才能彻底停止同步。

解决方案

在 Flink 集群停止后，查看进程是否仍在运行：

go 复制代码

ps -ef | grep flink-sql-client

手动杀掉对应的进程：

go 复制代码

kill -9 <pid>