Flink常见异常&解决办法

Flink启动报错

shell 复制代码
Caused by: java.lang.NoSuchMethodError: org.apache.flink.api.common.functions.RuntimeContext.getMetricGroup()Lorg/apache/flink/metrics/groups/OperatorMetricGroup;
	...
	at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:34) ~[flink-dist_2.11-1.13.2.jar:1.13.2]
	at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102) ~[flink-dist_2.11-1.13.2.jar:1.13.2]
	at org.apache.flink.streaming.api.operators.ProcessOperator.open(ProcessOperator.java:56) ~[flink-dist_2.11-1.13.2.jar:1.13.2]
	...

Flink版本问题,从1.13.2升级到1.14.6,问题解决~

java 复制代码
WARN  org.apache.flink.runtime.taskmanager.Task                    [] - Source: binlog_cdc_input -> input_count_function -> assign_timestamp_watermark -> delete_no_support_kind -> filter_row_column (3/10)#0 (88e9b7b3cd854aec006ec88441da84f2) switched from INITIALIZING to FAILED with failure cause: java.lang.IllegalArgumentException: Subtask ID 2 is out of server id range 1, please adjust the server id range to make the number of server id larger than the source parallelism.
	at com.ververica.cdc.connectors.mysql.source.config.ServerIdRange.getServerId(ServerIdRange.java:56)
	at com.ververica.cdc.connectors.mysql.source.config.MySqlSourceConfigFactory.createConfig(MySqlSourceConfigFactory.java:326)
	at com.ververica.cdc.connectors.mysql.source.config.MySqlSourceConfigFactory.createConfig(MySqlSourceConfigFactory.java:288)
	at com.ververica.cdc.connectors.mysql.source.MySqlSource.createReader(MySqlSource.java:135)
	at org.apache.flink.streaming.api.operators.SourceOperator.initReader(SourceOperator.java:268)
	at org.apache.flink.streaming.runtime.tasks.SourceOperatorStreamTask.init(SourceOperatorStreamTask.java:70)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.restoreInternal(StreamTask.java:674)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.restore(StreamTask.java:651)
	at org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:958)
	at org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:927)
	at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:766)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:575)
	at java.lang.Thread.run(Thread.java:750)

是因为给cdc设置的serverId范围过小,导致多个并行度没有足够的serverId分配,导致启动失败!

相关推荐
SelectDB35 分钟前
深入理解 Doris Variant:如何让 JSON 查询性能追平列存,还能承载万列索引字段?|Deep Dive
大数据·数据库·数据分析
全知科技1 小时前
AI赋能数据分类分级,迈向智能化数据治理
大数据·人工智能
Macbethad1 小时前
使用WPF编写一个多维度伺服系统的程序
大数据·hadoop·wpf
青云交1 小时前
Java 大视界 -- Java 大数据机器学习模型在电商用户画像构建与精准营销中的应用
java·大数据·机器学习·电商·协同过滤·用户画像·精准营销
UMI赋能企业3 小时前
智能决策引擎助力科技企业转型升级
大数据·人工智能
bigdata-rookie3 小时前
Flink Checkpoint 和 Spark Checkpoint 的区别
大数据·flink·spark
Bug快跑-13 小时前
人工智能与机器学习:未来技术的颠覆性力量
flink
数据智研4 小时前
【数据分享】中国税务年鉴(1993-2024)(1998缺失)
大数据·人工智能·信息可视化·数据分析
yangmf20404 小时前
APM(三):监控 Python 服务链
大数据·运维·开发语言·python·elk·elasticsearch·搜索引擎
yangmf20404 小时前
APM(二):监控 Python 服务
大数据·python·elasticsearch·搜索引擎