hive on spark配置方案详解

一、安装hive-on-spark客户端

1、下载已编译好的spark安装包:sparkengine-2.3.4.tgz。

2、将该spark客户端,放到/usr/hdp/3.1.0.0-78/hive目录下,命名为sparkengine。只需要部署在hiveserver2节点即可。

3、配置conf/spark-default.conf和spark-env.sh

conf/spark-env.sh中增加:

export HADOOP_CONF_DIR=/usr/hdp/3.1.0.0-78/hadoop/conf

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

conf/spark-defaults.conf中增加:

spark.driver.extraJavaOptions -Dhdp.version=3.1.0.0-78

spark.yarn.am.extraJavaOptions -Dhdp.version=3.1.0.0-78

增加一个conf/java-opts文件:

echo "-Dhdp.version=3.1.0.0-78" >conf/java-opts

二、配置yarn的资源调度器

yarn.resourcemanager.scheduler.class=org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler

三、配置hive:只需要部署在hiveserver2节点上即可。

1、在/usr/hdp/3.1.0.0-78/hive/lib中添加spark2的依赖包

sudo cp sparkengine-2.3.4/jars/scala-library*.jar hive/lib/

sudo cp sparkengine-2.3.4/jars/spark-core*.jar hive/lib/

sudo cp sparkengine-2.3.4/jars/spark-network-common*.jar hive/lib/

2、修改hive配置文件

(1)、在高级hive-env中配置spark-home:

export SPARK_HOME=${HIVE_HOME}/sparkengine-2.3.4

如果不设置SPARK_HOME,会使用HDP默认的SparkSubmit命令来提交job。

##INFO [HiveServer2-Background-Pool: Thread-4928]: client.SparkClientImpl (😦)) - No spark.home provided, calling SparkSubmit directly.

(2)、在【自定义hive-site】中,增加自定义属性:

##hive.execution.engine=spark ##如果默认使用spark引擎,可修改该属性。

spark.master=yarn

spark.driver.memory=4g

spark.executor.cores=2

spark.executor.memory=2g

spark.executor.instances=2

spark.eventLog.enabled=true

spark.eventLog.dir=hdfs://d***:8020/hive-spark

spark.network.timeout=300

spark.serializer=org.apache.spark.serializer.KryoSerializer

spark.driver.extraJavaOptions=-Dhdp.version=3.1.0.0-78 ##如果不配置,spark executor无法启动。

spark.yarn.am.extraJavaOptions=-Dhdp.version=3.1.0.0-78

spark.yarn.jars=hdfs://demo2:8020/spark2-jars/*

spark.executor.extraJavaOptions=-XX:+UseG1GC -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -XX:InitiatingHeapOccupancyPercent=35

spark.dynamicAllocation.enabled=false ##资源动态分配

spark.dynamicAllocation.initialExecutors=2

spark.shuffle.service.enabled=false ###如果设置为true,需要yarn中配置相关参数。

spark.driver.memoryOverhead=400

spark.executor.memoryOverhead=400

set hive.merge.sparkfiles=true;--合并小文件

3、上传spark本身的包至hdfs:

hdfs dfs -mkdir /hive-spark ##spark.eventLog.dir

hdfs dfs -mkdir /spark2-jars ##spark.yarn.jars

hdfs dfs -put /usr/hdp/3.1.0.0-78/hive/sparkengine-2.3.4/jars/* /spark2-jars/

4、重启hive

五、测试hive on spark是否生效

hive --hiveconf hive.execution.engine=spark

set hive.execution.engine=spark;

登录hive:

beeline -u "jdbc:hive2://d***2:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2" --hiveconf hive.execution.engine=spark -n @@@ -p ***@123

使用稍微复杂点的sql进行测试:

select oper_type,count(distinct user_id),count(distinct item_id) from oper_test group by oper_type;

查看yarn里有无application启动。beeline中执行的sql有无查询结果。

相关推荐
瞎胡侃37 分钟前
Spark读取Apollo配置
大数据·spark·apollo
悻运39 分钟前
如何配置Spark
大数据·分布式·spark
懒惰的橘猫1 小时前
Spark集群搭建之Yarn模式
大数据·分布式·spark
2401_824256861 小时前
Spark-Streaming
大数据·分布式·spark
元6332 小时前
spark和hadoop之间的对比和联系
大数据·hadoop·spark
沐风¥3 小时前
Kafka和Spark-Streaming
spark
哥不是小萝莉4 小时前
Hadoop和Spark大数据挖掘与实战
hadoop·ai·spark
lix的小鱼5 小时前
spark和Hadoop之间的对比和联系
大数据·hadoop·spark
TTBIGDATA8 小时前
如何将 Apache Hudi 接入 Ambari?完整部署与验证指南
大数据·hadoop·ambari·hudi·bigtop·湖仓·自定义组件集成
什么芮.8 小时前
spark-streaming
pytorch·sql·spark·kafka·scala