解决:Flink向kafka写数据使用Producer精准一次(EXACTLY_ONCE)异常

复制代码
在使用flink向kafka写入数据报错:Caused by: org.apache.kafka.common.KafkaException: Unexpected error in InitProducerIdResponse; The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms).

这是因为事务超时值超过了Kafka代理允许的最大值。具体来说,配置的transaction.timeout.ms超过了代理的transaction.max.timeout.ms配置

解决

在使用EXACTLY_ONCE的时候需要增大transaction.max.timeout.ms的值

修改参数

改完之后再重新跑就可以跑通了

相关推荐
新加坡内哥谈技术14 分钟前
微软AI核电计划
大数据·人工智能·语言模型·自然语言处理
半桶水专家2 小时前
如何安装部署kafka
分布式·kafka
檀越剑指大厂2 小时前
【Elasticsearch系列十九】评分机制详解
大数据·elasticsearch·搜索引擎
武子康2 小时前
大数据-141 - ClickHouse 集群 副本和分片 Zk 的配置 Replicated MergeTree原理详解
java·大数据·clickhouse·flink·spark·scala
Hello.Reader2 小时前
深入解析 Apache Doris架构、应用场景与最佳实践
大数据·架构·数据分析·apache
wangye114224 小时前
大舍传媒:尼日利亚传统新闻媒体宣传助力新兴行业蓬勃发展
大数据·人工智能
PGCCC4 小时前
【PGCCC】使用 Postgres 进行数据分析的窗口函数
大数据·机器学习·数据分析
繁依Fanyi5 小时前
【问题随记】在使用 AuthenticationManager 的时候,出现循环依赖问题 —— `java.lang.StackOverflowError`
java·大数据·开发语言
青云交5 小时前
大数据新视界 --大数据大厂之探索ES:大数据时代的高效搜索引擎实战攻略
大数据·数据库·elasticsearch·搜索引擎·数据分析·高效搜索·可扩展性·电商平台、新闻媒体、企业内部
不叫猫先生6 小时前
从数据仓库到数据飞轮:数据技术演进的探索与思考
大数据·数据仓库·spark·数据中台·数据飞轮