Spark导入报错:object security is not a member of package org.apache.kafka.common

引言

build spark里自带的示例项目时报了这样一个错:object kafka is not a member of package org.apache,排查后发现是因为添加的jar依赖里没有kafka这一项,去Maven下载了对应版本的Kafka jar包后放置在examples\jars底下却仍然报错object security is not a member of package org.apache.kafka.common

进一步查看后发现自己下载的kafka路径底下确实没有security 文件夹,重新去Maven下发下kafaka有很多近似同名的jar包,多次下载查看对应的文件树终于找到一版kafaka包含了security文件夹,为:
https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10-assembly_2.13/3.5.0

解决方案

去maven下载自己需要版本的kafka,如果不确定就依次下载到本地尝试,查看其文件树中是否包含需要import的类。

相关推荐
weixin_307779136 小时前
AWS EMR上的Spark日志实时搜索关键指标网页呈现的设计和实现
大数据·python·spark·云计算·aws
一张假钞8 小时前
Spark的基本概念
大数据·分布式·spark
一张假钞9 小时前
Spark On Yarn External Shuffle Service
大数据·分布式·spark
大秦王多鱼9 小时前
Kafka SASL/SCRAM介绍
分布式·安全·kafka·apache
优人ovo11 小时前
详解Kafka并行计算架构
分布式·架构·kafka
一张假钞1 天前
Spark SQL读写Hive Table部署
hive·sql·spark
好记性+烂笔头1 天前
4 Spark Streaming
大数据·ajax·spark
圣心1 天前
Kafka 使用说明(kafka官方文档中文)
分布式·kafka·linq
圣心1 天前
Kafka中文文档
分布式·kafka
大秦王多鱼1 天前
Kafka SASL/PLAIN介绍
分布式·安全·kafka