Spark导入报错:object security is not a member of package org.apache.kafka.common

引言

build spark里自带的示例项目时报了这样一个错:object kafka is not a member of package org.apache,排查后发现是因为添加的jar依赖里没有kafka这一项,去Maven下载了对应版本的Kafka jar包后放置在examples\jars底下却仍然报错object security is not a member of package org.apache.kafka.common

进一步查看后发现自己下载的kafka路径底下确实没有security 文件夹,重新去Maven下发下kafaka有很多近似同名的jar包,多次下载查看对应的文件树终于找到一版kafaka包含了security文件夹,为:
https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10-assembly_2.13/3.5.0

解决方案

去maven下载自己需要版本的kafka,如果不确定就依次下载到本地尝试,查看其文件树中是否包含需要import的类。

相关推荐
Lansonli3 小时前
大数据Spark(八十):Action行动算子fold和aggregate使用案例
大数据·分布式·spark
闻哥3 小时前
Kafka高吞吐量核心揭秘:四大技术架构深度解析
java·jvm·面试·kafka·rabbitmq·springboot
人良爱编程14 小时前
Hugo的Stack主题配置记录03-背景虚化-导航栏-Apache ECharts创建地图
前端·javascript·apache·echarts·css3·html5
indexsunny16 小时前
互联网大厂Java面试实战:Spring Boot微服务在电商场景中的应用与挑战
java·spring boot·redis·微服务·kafka·spring security·电商
TTBIGDATA17 小时前
【Atlas】Ambari 中 开启 Kerberos + Ranger 后 Atlas Hook 无权限访问 Kafka Topic:ATLAS_HOOK
大数据·kafka·ambari·linq·ranger·knox·bigtop
JoySSLLian20 小时前
手把手教你安装免费SSL证书(附宝塔/Nginx/Apache配置教程)
网络·人工智能·网络协议·tcp/ip·nginx·apache·ssl
岁岁种桃花儿21 小时前
Kafka从入门到上天系列第一篇:kafka的安装和启动
大数据·中间件·kafka
Apache Flink21 小时前
Apache Flink Agents 0.2.0 发布公告
大数据·flink·apache
鸿乃江边鸟1 天前
Spark Datafusion Comet 向量化Rust Native--CometShuffleExchangeExec怎么控制读写
大数据·rust·spark·native
TTBIGDATA2 天前
【Atlas】Atlas Hook 消费 Kafka 报错:GroupAuthorizationException
hadoop·分布式·kafka·ambari·hdp·linq·ranger