Spark基础

Spark基础

建库一定要指定字符集,错了好多次了

pip

卸载某个模块

pip uninstall pandas

-- 下载其它的改掉pandas即可
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

更新最新版本pip
python -m pip install --upgrade pip

1、 启动服务

Hadoop

启动全部服务
*****/hadoop/sbin/start-all.sh

启动hdfs
*****/hadoop/sbin/start-dfs.sh

启动yarn
*****/hadoop/sbin/start-yarn.sh

启动history日志服务
*****/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

Spark

同上,前面是你自己安装的路径

启动standalone资源调度服务
/spark/sbin/start-all.sh

启动master
/spark/sbin/start-master.sh

启动历史日志服务
/spark/sbin/start-history-server.sh

2、spark的(交互开发)指令参数

在通过指令运行时,就是进入交互模式,运行一个计算程序

该参数对spark指令都有效的

计算任务运行期间查询计算的任务信息可以访问4040端口

计算任务结束后查询计算的任务信息可以访问18080端口

pyspark --master yarn --name shaonianlu_conf --conf 'spark.sql.shuffle.partitions=100'

使用yarn进行资源调度,指定任务名为shaonianlu 更改配置信息

3、dirver和excutor

dirver 和excutor是两个进程程序

当spark的计算代码程序运行时就会产生一个dirver,dirver管理执行计算任务

driver会先申请资源,创建出excutor进程

excutor进程创建成功或通知driver,dirver会将计算任务以线程的方式交给excutor执行

dirver 负责管理计算任务

excutor 负责执行计算任务

4、spark-submit提交方式

在--master yarn模式下会有一个--deploy-mode指定提交模式

  • 有两种提交代码计算的模式
    • clinet模式 默认的提交模式 不指定--deploy-mode
    • cluster模式 --deploy-mode cluster
      • 在cluster模式下不会输出终端结果信息
相关推荐
Natural_yz2 小时前
大数据学习17之Spark-Core
大数据·学习·spark
莫叫石榴姐3 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
魔珐科技5 小时前
以3D数字人AI产品赋能教育培训人才发展,魔珐科技亮相AI+教育创新与人才发展大会
大数据·人工智能
上优5 小时前
uniapp 选择 省市区 省市 以及 回显
大数据·elasticsearch·uni-app
陌小呆^O^5 小时前
Cmakelist.txt之Liunx-rabbitmq
分布式·rabbitmq
samLi06206 小时前
【更新】中国省级产业集聚测算数据及协调集聚指数数据(2000-2022年)
大数据
Mephisto.java6 小时前
【大数据学习 | Spark-Core】Spark提交及运行流程
大数据·学习·spark
EasyCVR7 小时前
私有化部署视频平台EasyCVR宇视设备视频平台如何构建视频联网平台及升级视频转码业务?
大数据·网络·音视频·h.265
hummhumm7 小时前
第 22 章 - Go语言 测试与基准测试
java·大数据·开发语言·前端·python·golang·log4j