最近做项目的时候,经常会开启和关闭spark的远程服务,thriftserver,其实这个服务和hive的hiveserver2服务很像,不妨照着试着修改一下吧。
在/usr/local/bin 下创建一个脚本:spark-service-manager.sh
脚本内容如下:
bash
#!/bin/bash
# 使用方式: spark-server-manager.sh [start|stop|]
help_info() {
echo "参数异常,请重新输入"
exit -1
}
# 获取操作命令
op=$1
# 检查参数是否正确
if [ ! $op ]; then
help_info
elif [ $op != "start" -a $op != "stop" ]; then
help_info
fi
# 开启服务
start_thrift() {
/opt/installs/spark/sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10001 \
--hiveconf hive.server2.thrift.bind.host=bigdata01 \
--master yarn \
--conf spark.sql.shuffle.partitions=2
}
# 停止服务
stop_thrift() {
sh /opt/installs/spark/sbin/stop-thriftserver.sh
}
# 控制操作
${op}_thrift
里面具体按照路径,可以修改为自己的按照路径,修改完之后,记得添加权限:
chmod 777 spark-service-manager.sh
接着根据以下命令,试试吧:
bash
spark-service-manager.sh start
spark-service-manager.sh stop