Kafka下沉到HDFS报错

错误信息

24 十二月 2023 12:38:25,127 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64) - Serializer = TEXT, UseRawLocalFileSystem = false

24 十二月 2023 12:38:25,129 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:457) - process failed

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

错误原因

由于hadoop和flume中guava这个jar包冲突导致,二者不兼容。

解决办法

把flume中的guava包删掉,即可正常运行。

相关推荐
qq_40999093?9 小时前
消息中间件:RabbitMQ、RocketMQ、Kafka快速上手
kafka·rabbitmq·rocketmq
yzx99101310 小时前
实时数据处理实战:使用 Apache Flink 消费 Kafka 数据并进行窗口聚合
flink·kafka·apache
iPadiPhone1 天前
万亿级流量的基石:Kafka 核心原理、大厂面试题解析与实战
分布式·后端·面试·kafka
低调的JVM1 天前
Golang下kafka可观测数据采集组件Otelsarama详解
golang·kafka·可观测·opentelemetry
tumeng07112 天前
HDFS的架构优势与基本操作
hadoop·hdfs·架构
sunxunyong2 天前
HDFS nnsdy重新配置启动
大数据·hadoop·hdfs
Jianghong Jian2 天前
HDFS常用的JAVA API
大数据·hadoop·hdfs
大大大大晴天️2 天前
Flink技术实践-超时异常踩坑与优化
大数据·flink·kafka
大大大大晴天2 天前
Flink技术实践-超时异常踩坑与优化
大数据·flink·kafka