使用idea开发spark程序

新建scala 项目

创建lib目录

将spark jars/ 路径下所有jar 复制到 lib目录

添加依赖

创建scala 程序

Scala 复制代码
package spark

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    
    val conf = new SparkConf().setAppName("WordCount").setMaster("local") //本地模式
    //    val conf = new SparkConf().setAppName("WordCount") //集群模式s
    val sc = new SparkContext(conf)

    val result = sc.textFile("hdfs://bigdata112:9000/user/test001.txt")
      .flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
      .collect
    result.foreach(println)

    println("Hello, World!")
  }
  
}

准备测试数据

上传hdfs

hdfs dfs -put test001.txt /user/

运行程序

相关推荐
纪元A梦6 分钟前
分布式锁算法——基于ZooKeeper的分布式锁全面解析
java·分布式·算法·zookeeper
翻滚吧键盘14 分钟前
spring打包,打包错误
java·后端·spring
_Djhhh18 分钟前
基于SpringAOP面向切面编程的一些实践(日志记录、权限控制、统一异常处理)
java·spring boot·spring·maven·sprint
张张张31229 分钟前
4.1学习总结 拼图小游戏+集合进阶
java·学习
拾荒的小海螺31 分钟前
JAVA:使用 Curator 进行 ZooKeeper 操作的技术指南
java·zookeeper·java-zookeeper
SoFlu软件机器人1 小时前
Go/Rust 疯狂蚕食 Java 市场?老牌语言的 AI 化自救之路
java·golang·rust
半盏茶香1 小时前
启幕数据结构算法雅航新章,穿梭C++梦幻领域的探索之旅——堆的应用之堆排、Top-K问题
java·开发语言·数据结构·c++·python·算法·链表
hweiyu001 小时前
idea如何让打开的文件名tab多行显示
java·ide·intellij-idea·idea·intellij idea
小吴先生6662 小时前
Groovy 规则执行器,加载到缓存
java·开发语言·缓存·groovy
星星不打輰2 小时前
Spring基于注解进行开发
java·spring