IDEA使用SCALA

一、在IDEA中下载插件

在设置->插件中找到scala,并下载。

下载完成后重启idea

二、在idea中创建spark的RDD操作项目

新建项目选中Scala。

创建完成后为项目添加java包,这个添加的是spark安装包中jars目录下的所有jar包

然后编写RDD操作

复制代码
import org.apache.spark.{SparkConf, SparkContext}


object Main {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf()
    sparkConf.setMaster("local")   //本地单线程运行
    sparkConf.setAppName("Main")
    val sc = new SparkContext(sparkConf)
    val line = sc.textFile("C:/Users/Lenovo/Downloads/Volleyball_Players.csv")
    line.foreach(println)
  }
}

如果你引入不了spark,可能就是你的jar包没导入

此时执行程序发下报错java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset......

三、解决方法:

如果你的spark是在本机windows下可以参考

java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. - 简书

如果你的spark是在虚拟机Linux下可以使用以下方法,

1.下载winutils文件

GitHub - steveloughran/winutils: Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase)

下载与自己虚拟中hadoop版本相近的,我的是3.2.4所以下载3.0版本

  1. 配置环境变量

配置系统环境变量:

新增 变量名:HADOOP_HOME 变量值:就是你上面下载的hadoop版本文件夹的所在位置

在Path 中新增 变量值:%HADOOP_HOME%\bin

3.把hadoop.dll放到C:/windows/system32文件夹下

4.重启IDEA,再次运行代码

此时发现又报新错误

Exception in thread "main" java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x3cd3e762) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio...............................

解决方法:

  1. 需要在环境变量中设置 JAVA_OPTJAVA_TOOL_OPTIONS--add-exports=java.base/sun.nio.ch=ALL-UNNAMED

重启idea,再次运行代码

此时代码成功运行

相关推荐
芙蓉王真的好13 小时前
VSCode Copilot 魔改对比:智谱 GLM-4.6 与其他大模型接入流程差异解析
ide·vscode·copilot
默 语3 小时前
MySQL中的数据去重,该用DISTINCT还是GROUP BY?
java·数据库·mysql·distinct·group by·1024程序员节·数据去重
oDeviloo5 小时前
新版IntelliJ IDEA个性化设置兼容老版习惯
java·ide·intellij-idea
一只小透明啊啊啊啊5 小时前
Java Web 开发的核心组件:Servlet, JSP,Filter,Listener
java·前端·servlet
spencer_tseng6 小时前
Eclipse Uninstall Software
java·ide·eclipse
嗯、.6 小时前
使用 iText 9 为 PDF 添加文字水印的完整实战
java·pdf·itext
怪兽20147 小时前
缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题
java·缓存·面试
皮皮林5517 小时前
Java 25 正式发布:更简洁、更高效、更现代!
java
源码_V_saaskw7 小时前
JAVA国际版二手交易系统手机回收好物回收发布闲置商品系统源码支持APP+H5
java·开发语言·微信·智能手机·微信小程序·小程序
جيون داد ناالام ميづ7 小时前
Spring AOP核心原理分析
java·数据库·spring