Spark基础
建库一定要指定字符集，错了好多次了
pip
卸载某个模块
pip uninstall pandas
-- 下载其它的改掉pandas即可
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas更新最新版本pip
python -m pip install --upgrade pip
1、 启动服务
Hadoop
启动全部服务
*****/hadoop/sbin/start-all.sh
启动hdfs
*****/hadoop/sbin/start-dfs.sh
启动yarn
*****/hadoop/sbin/start-yarn.sh
启动history日志服务
*****/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
Spark
同上，前面是你自己安装的路径
启动standalone资源调度服务
/spark/sbin/start-all.sh
启动master
/spark/sbin/start-master.sh
启动历史日志服务
/spark/sbin/start-history-server.sh
2、spark的(交互开发)指令参数
在通过指令运行时，就是进入交互模式，运行一个计算程序
该参数对spark指令都有效的
计算任务运行期间查询计算的任务信息可以访问4040端口
计算任务结束后查询计算的任务信息可以访问18080端口
pyspark --master yarn --name shaonianlu_conf --conf 'spark.sql.shuffle.partitions=100'
使用yarn进行资源调度，指定任务名为shaonianlu 更改配置信息
3、dirver和excutor
dirver 和excutor是两个进程程序
当spark的计算代码程序运行时就会产生一个dirver，dirver管理执行计算任务
driver会先申请资源，创建出excutor进程
excutor进程创建成功或通知driver，dirver会将计算任务以线程的方式交给excutor执行
dirver 负责管理计算任务
excutor 负责执行计算任务
4、spark-submit提交方式
在--master yarn模式下会有一个--deploy-mode指定提交模式
- 有两种提交代码计算的模式
- clinet模式 默认的提交模式 不指定--deploy-mode
- cluster模式 --deploy-mode cluster
- 在cluster模式下不会输出终端结果信息