技术栈

Spark入门02-Spark开发环境配置(idea环境)

chde2Wang2024-01-30 9:43

安装与配置Spark开发环境

1.下载解压安装包

https://archive.apache.org/dist/spark/spark-2.1.2/

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.3.4/

2、新建Scala项目

参考https://blog.csdn.net/weixin_38383877/article/details/135894760

3、项目中引入spark的jar文件

第一步:

第二步:

上一篇:centos系统安装Ward服务器监控工具
下一篇:CentOS:安装curl
相关推荐
元633
1 小时前
Spark 缓存(Caching)
大数据·spark
麻芝汤圆
2 小时前
MapReduce 入门实战:WordCount 程序
大数据·前端·javascript·ajax·spark·mapreduce
IvanCodes
3 小时前
五、Hadoop集群部署:从零搭建三节点Hadoop环境(保姆级教程)
大数据·hadoop·分布式
富能量爆棚
4 小时前
spark-local模式
大数据
lqlj2233
4 小时前
配置 Spark 以 YARN 模式
大数据·spark
Freedom℡
4 小时前
Spark,IDEA编写Maven项目
spark
AidLux
5 小时前
端侧智能重构智能监控新路径 | 2025 高通边缘智能创新应用大赛第三场公开课来袭!
大数据·人工智能
炒空心菜菜
5 小时前
SparkSQL 连接 MySQL 并添加新数据:实战指南
大数据·开发语言·数据库·后端·mysql·spark
富能量爆棚
5 小时前
Hadoop和Spark生态系统
大数据
Panesle
6 小时前
分布式异步强化学习框架训练32B大模型:INTELLECT-2
人工智能·分布式·深度学习·算法·大模型
热门推荐
01YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03KGG转MP3工具|非KGM文件|解密音频04DeepSeek各版本说明与优缺点分析05【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高,一键全文降!文件格式不变,公式都保留的!06Coze扣子平台完整体验和实践(附国内和国际版对比)07VMware虚拟机安装Win7专业版保姆级教程(附镜像包)08YOLOv5改进 | 添加CA注意力机制 + 增加预测层 + 更换损失函数之GIoU09苍穹外卖面试总结10yolov10来了!用yolov10训练自己的数据集(原理、训练、部署、应用)