解决:Flink向kafka写数据使用Producer精准一次(EXACTLY_ONCE)异常

复制代码
在使用flink向kafka写入数据报错:Caused by: org.apache.kafka.common.KafkaException: Unexpected error in InitProducerIdResponse; The transaction timeout is larger than the maximum value allowed by the broker (as configured by transaction.max.timeout.ms).

这是因为事务超时值超过了Kafka代理允许的最大值。具体来说,配置的transaction.timeout.ms超过了代理的transaction.max.timeout.ms配置

解决

在使用EXACTLY_ONCE的时候需要增大transaction.max.timeout.ms的值

修改参数

改完之后再重新跑就可以跑通了

相关推荐
yumgpkpm35 分钟前
CMP (类ClouderaCDP7.3(404次编译) )华为鲲鹏Aarch64(ARM)信创环境多个mysql数据库汇聚的操作指南
大数据·hive·hadoop·zookeeper·big data·cloudera
CryptoPP1 小时前
获取越南股票市场列表(包含VN30成分股)实战指南
大数据·服务器·数据库·区块链
跨境小新1 小时前
TG弹出“只能给双向联系人发送消息”的飞机双向限制怎么办?
大数据
数智顾问3 小时前
破解 Shuffle 阻塞:Spark RDD 宽窄依赖在实时特征工程中的实战与未来
大数据·分布式·spark
Giser探索家3 小时前
遥感卫星升轨 / 降轨技术解析:对图像光照、对比度的影响及工程化应用
大数据·人工智能·算法·安全·计算机视觉·分类
lisw054 小时前
数字化科技简化移民流程的 5 种方式
大数据·人工智能·机器学习
JAVA学习通4 小时前
Kafka在美团数据平台的实践
分布式·kafka
NewCarRen4 小时前
基于自动驾驶仿真软件的交通事故档案建模与分析
大数据·汽车功能安全
JAVA学习通4 小时前
Replication(下):事务,一致性与共识
大数据·分布式·算法
vivo互联网技术5 小时前
vivo HDFS EC大规模落地实践
大数据·hdfs·大数据计算与存储·erasure coding