Kafka下沉到HDFS报错

错误信息

24 十二月 2023 12:38:25,127 INFO SinkRunner-PollingRunner-DefaultSinkProcessor (org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure:64) - Serializer = TEXT, UseRawLocalFileSystem = false

24 十二月 2023 12:38:25,129 ERROR SinkRunner-PollingRunner-DefaultSinkProcessor (org.apache.flume.sink.hdfs.HDFSEventSink.process:457) - process failed

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

错误原因

由于hadoop和flume中guava这个jar包冲突导致,二者不兼容。

解决办法

把flume中的guava包删掉,即可正常运行。

相关推荐
海兰12 小时前
【Kafka学习3】Apache Kafka 本地部署环境快速入门指南
学习·kafka·apache
渣渣盟14 小时前
Flink + Kafka 数据写入实战:从API调用到端到端一致性精讲
flink·kafka·linq
海兰14 小时前
【Kafka学习2】Apache Kafka 典型应用场景
学习·kafka·apache
heimeiyingwang14 小时前
【架构实战】消息队列选型与异步架构设计:从Kafka到RabbitMQ,一次聊透
架构·kafka·rabbitmq
lakernote1 天前
图解 Kafka Consumer 常用 API:poll、seek、pause、wakeup 到底在控制什么?
分布式·kafka·linq
lazy H1 天前
不同的消息队列有什么区别?Kafka、RabbitMQ、RocketMQ、Pulsar、ActiveMQ 选型对比
后端·中间件·kafka·rabbitmq·rocketmq
hopsky2 天前
kafka 对发送端的容错处理
数据库·分布式·kafka
Devin~Y3 天前
从内容社区到AI智能客服:Spring Boot + Spring Cloud + Spring AI 全栈实战面试拆解
java·spring boot·redis·elasticsearch·spring cloud·kafka·mybatis
DLYSB_5 天前
Kafka 消费倾斜死锁与 Partition 掉队:我用 Rust 写了个“数据管道物理哨兵”,比 Grafana 报警快了 18 秒
rust·kafka·grafana·报警灯
creator_Li5 天前
Kafka消费者offset提交
kafka