Flink常见异常&解决办法

Flink启动报错

shell 复制代码
Caused by: java.lang.NoSuchMethodError: org.apache.flink.api.common.functions.RuntimeContext.getMetricGroup()Lorg/apache/flink/metrics/groups/OperatorMetricGroup;
	...
	at org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:34) ~[flink-dist_2.11-1.13.2.jar:1.13.2]
	at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102) ~[flink-dist_2.11-1.13.2.jar:1.13.2]
	at org.apache.flink.streaming.api.operators.ProcessOperator.open(ProcessOperator.java:56) ~[flink-dist_2.11-1.13.2.jar:1.13.2]
	...

Flink版本问题,从1.13.2升级到1.14.6,问题解决~

java 复制代码
WARN  org.apache.flink.runtime.taskmanager.Task                    [] - Source: binlog_cdc_input -> input_count_function -> assign_timestamp_watermark -> delete_no_support_kind -> filter_row_column (3/10)#0 (88e9b7b3cd854aec006ec88441da84f2) switched from INITIALIZING to FAILED with failure cause: java.lang.IllegalArgumentException: Subtask ID 2 is out of server id range 1, please adjust the server id range to make the number of server id larger than the source parallelism.
	at com.ververica.cdc.connectors.mysql.source.config.ServerIdRange.getServerId(ServerIdRange.java:56)
	at com.ververica.cdc.connectors.mysql.source.config.MySqlSourceConfigFactory.createConfig(MySqlSourceConfigFactory.java:326)
	at com.ververica.cdc.connectors.mysql.source.config.MySqlSourceConfigFactory.createConfig(MySqlSourceConfigFactory.java:288)
	at com.ververica.cdc.connectors.mysql.source.MySqlSource.createReader(MySqlSource.java:135)
	at org.apache.flink.streaming.api.operators.SourceOperator.initReader(SourceOperator.java:268)
	at org.apache.flink.streaming.runtime.tasks.SourceOperatorStreamTask.init(SourceOperatorStreamTask.java:70)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.restoreInternal(StreamTask.java:674)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.restore(StreamTask.java:651)
	at org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:958)
	at org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:927)
	at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:766)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:575)
	at java.lang.Thread.run(Thread.java:750)

是因为给cdc设置的serverId范围过小,导致多个并行度没有足够的serverId分配,导致启动失败!

相关推荐
电商API_180079052479 小时前
京东商品详情API技术文章
大数据·运维·人工智能·网络爬虫
Lumistory9 小时前
城市建筑照明的落地与长效运营观察
大数据·数据库·中间件·光照贴图
lvts_cs10 小时前
淄博高新区绿天使数智创新港:高标准产研厂房全维度详解
大数据·人工智能
大大大大晴天11 小时前
实时数仓怎么建:基于StarRocks的宽表、指标层与主题建模
大数据
AC赳赳老秦12 小时前
公开图片 OCR 数据提取:OpenClaw 合规采集公开信息图,识别文字与表格并转化为结构化数据
java·大数据·前端·数据库·python·php·openclaw
bransyin13 小时前
一个 SQL 字段到底是怎么算出来的?我做了一个能给出“证据”的血缘工具
大数据·sql·ai·血缘
AC赳赳老秦14 小时前
风控岗应用:OpenClaw 采集公开司法与经营异常数据,自动生成企业风险评估报告
大数据·c语言·数据库·人工智能·python·php·openclaw
starzy199016 小时前
SparkSQL 数据源与底层架构深度剖析
大数据·分布式·架构·spark
Elastic 中国社区官方博客17 小时前
你的 AI agent 不需要你的 API 密钥:使用 OAuth 2.1 对 Elasticsearch MCP 服务器进行身份验证
大数据·运维·人工智能·elasticsearch·搜索引擎·全文检索