Spark基础

Spark基础

建库一定要指定字符集,错了好多次了

pip

卸载某个模块

复制代码
pip uninstall pandas

-- 下载其它的改掉pandas即可
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

更新最新版本pip
python -m pip install --upgrade pip

1、 启动服务

Hadoop

启动全部服务
*****/hadoop/sbin/start-all.sh

启动hdfs
*****/hadoop/sbin/start-dfs.sh

启动yarn
*****/hadoop/sbin/start-yarn.sh

启动history日志服务
*****/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

Spark

同上,前面是你自己安装的路径

启动standalone资源调度服务
/spark/sbin/start-all.sh

启动master
/spark/sbin/start-master.sh

启动历史日志服务
/spark/sbin/start-history-server.sh

2、spark的(交互开发)指令参数

在通过指令运行时,就是进入交互模式,运行一个计算程序

该参数对spark指令都有效的

计算任务运行期间查询计算的任务信息可以访问4040端口

计算任务结束后查询计算的任务信息可以访问18080端口

pyspark --master yarn --name shaonianlu_conf --conf 'spark.sql.shuffle.partitions=100'

使用yarn进行资源调度,指定任务名为shaonianlu 更改配置信息

3、dirver和excutor

dirver 和excutor是两个进程程序

当spark的计算代码程序运行时就会产生一个dirver,dirver管理执行计算任务

driver会先申请资源,创建出excutor进程

excutor进程创建成功或通知driver,dirver会将计算任务以线程的方式交给excutor执行

dirver 负责管理计算任务

excutor 负责执行计算任务

4、spark-submit提交方式

在--master yarn模式下会有一个--deploy-mode指定提交模式

  • 有两种提交代码计算的模式
    • clinet模式 默认的提交模式 不指定--deploy-mode
    • cluster模式 --deploy-mode cluster
      • 在cluster模式下不会输出终端结果信息
相关推荐
bksczm10 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
txxzjmzlh11 小时前
RabbitMQ安装
分布式·rabbitmq
黑十11 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend12 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend12 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司13 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥14 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox16 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台18 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码19 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark