解决:Flink向kafka写数据使用Producer精准一次(EXACTLY_ONCE)异常

复制代码
在使用flink向kafka写入数据报错:Caused by: org.apache.kafka.common.KafkaException: Unexpected error in InitProducerIdResponse; The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms).

这是因为事务超时值超过了Kafka代理允许的最大值。具体来说,配置的transaction.timeout.ms超过了代理的transaction.max.timeout.ms配置

解决

在使用EXACTLY_ONCE的时候需要增大transaction.max.timeout.ms的值

修改参数

改完之后再重新跑就可以跑通了

相关推荐
Macbethad3 小时前
WPF工业设备诊断管理程序技术方案
大数据·hadoop·分布式
慎独4133 小时前
重塑价值分配:从土地、机器到数据的生产关系革命
大数据·运维·人工智能
sensen_kiss3 小时前
INT303 Big Data Analysis 大数据分析 Pt.10 分析模型和混合模型
大数据·学习·机器学习·数据挖掘·数据分析
Thomas21434 小时前
pyspark3.5给paimon1.2的表打tag报错 spark_catalog is not a ProcedureCatalog
大数据·分布式·spark
稚辉君.MCA_P8_Java4 小时前
Gemini永久会员 Hadoop分布式计算框架MapReduce
大数据·hadoop·分布式·架构·mapreduce
资深低代码开发平台专家4 小时前
通用编程时代正在向专用化分层演进
java·大数据·c语言·c++·python
士心凡4 小时前
数据仓库教程
大数据·数据仓库·spark
会编程的李较瘦4 小时前
Spark SQL 窗口函数全面解析:概念、语法与实战案例
大数据·spark
武子康4 小时前
大数据-174 Elasticsearch 查询 DSL 实战:match/match_phrase/query_string/multi_match 全解析
大数据·后端·elasticsearch