使用idea开发spark程序

新建scala 项目

创建lib目录

将spark jars/ 路径下所有jar 复制到 lib目录

添加依赖

创建scala 程序

Scala 复制代码
package spark

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
  def main(args: Array[String]): Unit = {
    
    val conf = new SparkConf().setAppName("WordCount").setMaster("local") //本地模式
    //    val conf = new SparkConf().setAppName("WordCount") //集群模式s
    val sc = new SparkContext(conf)

    val result = sc.textFile("hdfs://bigdata112:9000/user/test001.txt")
      .flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
      .collect
    result.foreach(println)

    println("Hello, World!")
  }
  
}

准备测试数据

上传hdfs

hdfs dfs -put test001.txt /user/

运行程序

相关推荐
iuyou️3 分钟前
Spring Boot知识点详解
java·spring boot·后端
北辰浮光5 分钟前
[Mybatis-plus]
java·开发语言·mybatis
一弓虽15 分钟前
SpringBoot 学习
java·spring boot·后端·学习
南客先生19 分钟前
互联网大厂Java面试:RocketMQ、RabbitMQ与Kafka的深度解析
java·面试·kafka·rabbitmq·rocketmq·消息中间件
ai大佬22 分钟前
Java 开发玩转 MCP:从 Claude 自动化到 Spring AI Alibaba 生态整合
java·spring·自动化·api中转·apikey
百锦再25 分钟前
Android Studio开发 SharedPreferences 详解
android·ide·android studio
Mr__Miss1 小时前
面试踩过的坑
java·开发语言
爱喝一杯白开水1 小时前
POI从入门到上手(一)-轻松完成Apache POI使用,完成Excel导入导出.
java·poi
向哆哆1 小时前
Java 安全:如何防止 DDoS 攻击?
java·安全·ddos
啥都想学的又啥都不会的研究生1 小时前
Kubernetes in action-初相识
java·docker·微服务·容器·kubernetes·etcd·kubelet