Kafka下沉到HDFS报错

错误信息

24 十二月 2023 12:38:25,127 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64) - Serializer = TEXT, UseRawLocalFileSystem = false

24 十二月 2023 12:38:25,129 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:457) - process failed

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

错误原因

由于hadoop和flume中guava这个jar包冲突导致,二者不兼容。

解决办法

把flume中的guava包删掉,即可正常运行。

相关推荐
indexsunny13 小时前
互联网大厂Java面试实战:从Spring Boot到微服务架构的技术问答解析
java·spring boot·redis·微服务·kafka·jwt·flyway
liux35281 天前
MySQL -> Canal -> Kafka-> ES 完整数据同步流程详解
mysql·elasticsearch·kafka
Byte Beat1 天前
使用docker单机部署kafka,以KRaft模式运行,不使用zookeeper,
docker·kafka·kraft
你这个代码我看不懂1 天前
Kafka常见问题解答
分布式·kafka
小二·1 天前
Go 语言系统编程与云原生开发实战(第8篇)消息队列实战:Kafka 事件驱动 × CQRS 架构 × 最终一致性(生产级落地)
云原生·golang·kafka
TTBIGDATA1 天前
【KNOX 】服务启动后,日志中出现与 Ranger 插件资源文件相关的告警 policymgr-ssl 启动告警
大数据·网络·hdfs·ui·ambari·hdp·bigtop
what丶k2 天前
深度解析:以Kafka为例,消息队列消费幂等性的实现方案与生产实践
java·数据结构·kafka
liux35282 天前
Kafka 4.1.1 部署指南:单机版与安全认证配置
安全·kafka·linq
Jackyzhe2 天前
从零学习Kafka:配置参数
分布式·学习·kafka
Go高并发架构_王工2 天前
Kafka Streams:流处理应用开发实战
分布式·kafka·linq