Spark导入报错:object security is not a member of package org.apache.kafka.common

引言

 build spark里自带的示例项目时报了这样一个错:object kafka is not a member of package org.apache,排查后发现是因为添加的jar依赖里没有kafka这一项,去Maven下载了对应版本的Kafka jar包后放置在examples\jars底下却仍然报错object security is not a member of package org.apache.kafka.common。

 进一步查看后发现自己下载的kafka路径底下确实没有security 文件夹,重新去Maven下发下kafaka有很多近似同名的jar包,多次下载查看对应的文件树终于找到一版kafaka包含了security文件夹,为:
https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10-assembly_2.13/3.5.0。

解决方案

 去maven下载自己需要版本的kafka,如果不确定就依次下载到本地尝试,查看其文件树中是否包含需要import的类。

相关推荐
青企通35 分钟前
电商小程序购物车与库存扣减:SKU 模型、合并规则与防超卖实践
小程序·apache
Nefu_lyh11 小时前
【Spark】02Spark 下载和入门:环境配置、简单的Spark独立应用(Scala版)
大数据·spark·scala
张伯毅12 小时前
External Shuffle Service(spark3_shuffle):原理、配置与排障
java·开发语言·spark·yarn
starzy199012 小时前
KafkaProducer 源码深度剖析:RecordAccumulator 封装消息流程
大数据·kafka
yyk3332414 小时前
Spark介绍
大数据·分布式·spark
李纲明15 小时前
WordPress 首页正常、内页全 404:固定链接与伪静态规则排查步骤(Apache / Nginx)
nginx·apache·wordpress
starzy19901 天前
KafkaProducer 加载元数据:一条 MetadataRequest 的完整旅程
大数据·kafka
betazhou1 天前
Apache seatunel配置-数据同步测试(直接把采集数据打印到控制面板) - SQL server
sqlserver·apache·seatunnel
SelectDB技术团队1 天前
Apache Doris 的时间旅行与快照能力:边界、替代路径与可落地操作
数据库·apache·数据湖·apache doris·数据库选型·多模湖仓