技术栈

Spark入门02-Spark开发环境配置(idea环境)

chde2Wang2024-01-30 9:43

安装与配置Spark开发环境

1.下载解压安装包

https://archive.apache.org/dist/spark/spark-2.1.2/

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.3.4/

2、新建Scala项目

参考https://blog.csdn.net/weixin_38383877/article/details/135894760

3、项目中引入spark的jar文件

第一步:

第二步:

上一篇:centos系统安装Ward服务器监控工具
下一篇:CentOS:安装curl
相关推荐
大大大大晴天
2 天前
Hudi Metadata Table 与 Hive Sync (HMS)怎么选?
大数据
手可摘星辰777
2 天前
一次线上FlinkCDC异常排查复盘
大数据·flink
大大大大晴天
2 天前
Hudi技术内幕:Metadata Table原理与实践
大数据
大大大大晴天
3 天前
Hudi技术内幕:深入解析Index索引机制
大数据
阿里云大数据AI技术
3 天前
Flink Forward Asia 2026 深圳启幕:Agentic Streaming for AI,开启实时智能新范式
大数据·flink
SelectDB
4 天前
阶跃星辰基于 SelectDB 构建 PB 级 Agent 可观测平台
大数据·数据库·aigc
大大大大晴天
7 天前
Hudi技术内幕:RecordPayload到RecordMerger
大数据
SelectDB
8 天前
秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率
大数据·后端·云原生
WhoAmI
8 天前
MapReduce框架原理解析一:InputFormat
大数据·hadoop
WhoAmI
8 天前
MapReduce框架原理解析三:OutputFormat
大数据·hadoop
热门推荐
012026年6月AI大模型全景报告:GPT-5.6、Claude Opus 4.8、Gemini 3.5,中美AI三足鼎立谁主沉浮?022026年6月AI行业全景:从百模大战到Agent元年,这30天发生了什么?032026 年 AI 编程工具终极横评:Cursor vs Claude Code vs Copilot vs Windsurf04【AI】2026 年具身智能模型和世界模型总结05Trae国际版与国内版深度测评:AI原生IDE的双生花06飞书长连接_事件订阅(接收消息,审批任务状态变更)07Claude Code、Codex、Cursor三分天下:2026年AI编程Agent生态全景剖析082026 AI 编程工具终极实战指南:Cursor vs Claude Code vs Copilot,开发者该怎么选?09GitHub 镜像站点102026年AI架构实战:彻底解决OpenAI接口超时与封号,Python调用GPT-5.2/Sora2企业级架构详解(附源码+压测报告)