Spark入门02-Spark开发环境配置(idea环境)

安装与配置Spark开发环境

1.下载解压安装包

https://archive.apache.org/dist/spark/spark-2.1.2/

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.3.4/

2、新建Scala项目

参考https://blog.csdn.net/weixin_38383877/article/details/135894760

3、项目中引入spark的jar文件

第一步:

第二步:

相关推荐
YSGZJJ6 分钟前
股指期货技术分析与短线操作方法介绍
大数据·人工智能
Doker 多克11 分钟前
Flink CDC —部署模式
大数据·flink
Guheyunyi15 分钟前
监测预警系统重塑隧道安全新范式
大数据·运维·人工智能·科技·安全
Channing Lewis1 小时前
如果科技足够发达,是否还需要维持自然系统(例如生物多样性)中那种‘冗余’和‘多样性’,还是可以只保留最优解?
大数据·人工智能·科技
禺垣1 小时前
区块链技术概述
大数据·人工智能·分布式·物联网·去中心化·区块链
IvanCodes2 小时前
七、Sqoop Job:简化与自动化数据迁移任务及免密执行
大数据·数据库·hadoop·sqoop
冬至喵喵4 小时前
【hive】函数集锦:窗口函数、列转行、日期函数
大数据·数据仓库·hive·hadoop
zhuhit4 小时前
FASTDDS的安全设计
分布式·机器人·嵌入式
暗影八度4 小时前
Spark流水线+Gravitino+Marquez数据血缘采集
大数据·分布式·spark