Kafka下沉到HDFS报错

错误信息

24 十二月 2023 12:38:25,127 INFO [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64) - Serializer = TEXT, UseRawLocalFileSystem = false

24 十二月 2023 12:38:25,129 ERROR [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.HDFSEventSink.process:457) - process failed

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

错误原因

由于hadoop和flume中guava这个jar包冲突导致,二者不兼容。

解决办法

把flume中的guava包删掉,即可正常运行。

相关推荐
南客先生6 小时前
互联网大厂Java面试:RocketMQ、RabbitMQ与Kafka的深度解析
java·面试·kafka·rabbitmq·rocketmq·消息中间件
知其_所以然8 小时前
如何使用@KafkaListener实现从nacos中动态获取监听的topic
kafka
淋一遍下雨天9 小时前
Spark-Streaming核心编程
大数据·kafka
樟小叶_公众号同名12 小时前
Kafka运维经验
后端·kafka
小名叫咸菜13 小时前
flume整合Kafka和spark-streaming核心编程
kafka·flume
什么芮.14 小时前
spark-streaming
pytorch·sql·spark·kafka·scala
桑榆080615 小时前
Kafka简介
spark·kafka
IT成长日记16 小时前
【Hive入门】Hive数据导出完全指南:从HDFS到本地文件系统的专业实践
hive·hadoop·hdfs·数据导出
xmyLydia18 小时前
🚀 封装通用线程池 + Prometheus 可视化任务耗时与成功率(实战记录)
kafka·数据可视化
K8sCat18 小时前
Golang与Kafka的五大核心设计模式
后端·kafka·go