Spark导入报错:object security is not a member of package org.apache.kafka.common

引言

build spark里自带的示例项目时报了这样一个错:object kafka is not a member of package org.apache,排查后发现是因为添加的jar依赖里没有kafka这一项,去Maven下载了对应版本的Kafka jar包后放置在examples\jars底下却仍然报错object security is not a member of package org.apache.kafka.common

进一步查看后发现自己下载的kafka路径底下确实没有security 文件夹,重新去Maven下发下kafaka有很多近似同名的jar包,多次下载查看对应的文件树终于找到一版kafaka包含了security文件夹,为:
https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10-assembly_2.13/3.5.0

解决方案

去maven下载自己需要版本的kafka,如果不确定就依次下载到本地尝试,查看其文件树中是否包含需要import的类。

相关推荐
武子康15 小时前
大数据-270 Spark MLib-机器学习库快速入门(分类/回归/聚类/推荐)
大数据·后端·spark
_下雨天.16 小时前
Zookeeper+Kafka消息队列单节点与集群部署
分布式·zookeeper·kafka
kiku181816 小时前
Kafka消息队列+zookeeper
zookeeper·kafka
炸炸鱼.16 小时前
Zookeeper + Kafka 消息队列集群部署手册
zookeeper·kafka
卢傢蕊16 小时前
Kafka 消息队列
分布式·kafka·java-zookeeper
架构源启17 小时前
深度解析:Spring Boot + Apache OpenNLP 构建企业级 NLU 系统
spring boot·后端·apache
SeaTunnel18 小时前
深度解析 Apache SeaTunnel 核心引擎三大技术创新:高可靠异步持久化与 CDC 架构优化实战
大数据·数据库·架构·apache·seatunnel
DolphinScheduler社区19 小时前
第 8 篇|Apache DolphinScheduler 与 Flink Spark 数据引擎的边界、协同与最佳实践
大数据·flink·spark·开源·apache·海豚调度·大数据工作流调度
黄焖鸡能干四碗19 小时前
企业元数据梳理和元数据管理方案(PPT方案)
大数据·运维·网络·分布式·spark
木心术119 小时前
大数据处理技术:Hadoop与Spark核心原理解析
大数据·hadoop·分布式·spark