Spark导入报错:object security is not a member of package org.apache.kafka.common

引言

 build spark里自带的示例项目时报了这样一个错:object kafka is not a member of package org.apache,排查后发现是因为添加的jar依赖里没有kafka这一项,去Maven下载了对应版本的Kafka jar包后放置在examples\jars底下却仍然报错object security is not a member of package org.apache.kafka.common

 进一步查看后发现自己下载的kafka路径底下确实没有security 文件夹,重新去Maven下发下kafaka有很多近似同名的jar包,多次下载查看对应的文件树终于找到一版kafaka包含了security文件夹,为:
https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10-assembly_2.13/3.5.0

解决方案

 去maven下载自己需要版本的kafka,如果不确定就依次下载到本地尝试,查看其文件树中是否包含需要import的类。

相关推荐
数据仓库_晨曦37 分钟前
【无标题】
大数据·sql·spark
元让_vincent1 小时前
Spark 2.0:面向 Web 的 3DGS 可视化与大场景渲染平台详解
前端·3d·spark·渲染·轻量化·3dgs·lod
penngo4 小时前
FlowLoom:基于 Apache Spark 的可视化数据处理平台
大数据·spark·apache
西安邮电大学5 小时前
Kafka保证消息顺序性
java·后端·kafka
Devin~Y6 小时前
大厂Java面试实录:Spring Boot/Cloud、Kafka、Redis、K8s 可观测性 + RAG/Agent(小Y翻车版)
java·spring boot·redis·spring cloud·kafka·kubernetes·mybatis
极光代码工作室7 小时前
基于Spark的电商用户点击流分析系统
大数据·python·数据分析·spark·数据可视化
西安邮电大学7 小时前
Kafka如何避免重复消费
java·后端·其他·面试·kafka
无关86887 小时前
StarRocks 存算分离 + Spark + Hive Metastore + MinIO 数据湖搭建全流程
大数据·hive·spark
未若君雅裁9 小时前
Kafka 数据存储与清理机制:Topic、Partition、Segment与日志删除
分布式·kafka
大帅点兵1 天前
设计一个金融交易监控系统
大数据·clickhouse·flink·spark·kafka·hbase