Kafka下沉到HDFS报错

错误信息

24 十二月 2023 12:38:25,127 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64) - Serializer = TEXT, UseRawLocalFileSystem = false

24 十二月 2023 12:38:25,129 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:457) - process failed

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

错误原因

由于hadoop和flume中guava这个jar包冲突导致,二者不兼容。

解决办法

把flume中的guava包删掉,即可正常运行。

相关推荐
Advancer-14 小时前
消息发送失败处理与 DLQ 补偿流程
java·spring boot·kafka
Devin~Y14 小时前
互联网大厂Java面试实录:Spring Boot、Kafka、Redis一致性与Spring AI RAG(小Y的翻车现场)
java·spring boot·redis·kafka·mybatis·hibernate·jpa
麦兜和小可的舅舅15 小时前
ClickHouse实时分布式集群设计方案选择探究
c++·分布式·clickhouse·kafka
小马爱打代码15 小时前
Kafka 运维与高并发实战:20个核心命令详解
运维·kafka
小钻风33661 天前
Kafka 零基础实操命令大全
分布式·kafka
OpsEye1 天前
线上Kafka积压后,我是怎么处理的
运维·kafka·监控
r-t-H2 天前
从零开始搭建CDH-第十四章
spark·kafka·centos·cloudera
敲个大西瓜2 天前
kafka为什么分区不能那么多
kafka
Devin~Y2 天前
大厂Java面试实录:Spring Boot/Cloud、Redis+Kafka、JVM调优与RAG/Agent(Spring AI)三轮递进问答
java·jvm·spring boot·redis·spring cloud·kafka·rag
小钻风33662 天前
ZooKeeper + Kafka 集群搭建实战记录
分布式·zookeeper·kafka