Spark_spark参数配置优先级

总结 :

优先级低-》优先级高

spark-submit 提交的优先级 < scala/java代码中的配置参数 < spark SQL hint

spark submit 中提交参数

复制代码
#!/usr/bin/env bash

source /home/work/batch_job/product/common/common.sh
spark_version="/home/work/opt/spark"
export SPARK_CONF_DIR=${spark_version}/conf/
spark_shell="/home/opt/spark/spark3-client/bin/spark-shell"
spark_sql="/home/work/opt/spark/spark3-client/bin/spark-sql"
echo ${spark_sql}
echo ${spark_shell}
${spark_shell} --master yarn \
        --queue test \
        --name "evelopment_sun-data-new_spark_shell" \
        --conf "spark.speculation=true" \
        --conf "spark.network.timeout=400s" \
        --conf "spark.executor.cores=2" \
        --conf "spark.executor.memory=4g" \
        --conf "spark.executor.instances=300" \
        --conf "spark.driver.maxResultSize=4g" \
        --conf "spark.sql.shuffle.partitions=800" \
        --conf "spark.driver.extraJavaOptions=-Dfile.encoding=utf-8" \
        --conf "spark.executor.extraJavaOptions=-Dfile.encoding=utf-8" \
        --conf "spark.driver.memory=8g" \
        --conf "spark.sql.autoBroadcastJoinThreshold=-1" \
        --conf "spark.sql.turing.pooledHiveClientEnable=false" \
        --conf "spark.sql.hive.metastore.jars=/home/work/opt/spark/spark3-client/hive_compatibility/*" \
        --conf "spark.driver.extraClassPath=./__spark_libs__/hive-extensions-2.0.0.0-SNAPSHOT.jar:./hive_jar/parquet-hadoop-bundle-1.6.0.jar:/home/work/opt/spark/spark3-client/hive_compatibility/parquet-hadoop-bundle-1.6.0.jar" \
       --conf spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2 \
       --conf "spark.sql.legacy.timeParserPolicy=LEGACY" \
       --conf "spark.sql.storeAssignmentPolicy=LEGACY" \
       --conf spark.executor.extraJavaOptions="-XX:+UseG1GC" \
       --jars ./online-spark-1.0-SNAPSHOT.jar

scala/java代码中的配置参数

复制代码
    val conf = new SparkConf().setAppName(s"production_data-new_UserOverview_${event_day}")
    val spark = SparkSession.builder().config("spark.debug.maxToStringFields", "500").config(conf).getOrCreate()

SQL hint

复制代码
SELECT /*+ MERGEJOIN(t2) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;

Hints - Spark 3.5.0 hints Documentation

相关推荐
dengjiayue42 分钟前
消息队列(kafka 与 rocketMQ)
分布式·kafka·rocketmq
东阳马生架构2 小时前
zk基础—4.zk实现分布式功能二
分布式
ChinaRainbowSea3 小时前
8. RabbitMQ 消息队列 + 结合配合 Spring Boot 框架实现 “发布确认” 的功能
java·spring boot·分布式·后端·rabbitmq·java-rabbitmq
IT成长日记3 小时前
【Kafka基础】Kafka高可用集群:2.8以下版本超详细部署指南,运维必看!
分布式·zookeeper·kafka·集群部署
互联网之声3 小时前
“清凉海岛·创享一夏” 海南启动旅游线路产品创意设计大赛
大数据·网络·旅游
码界筑梦坊4 小时前
基于Spark的酒店数据分析系统
大数据·分布式·python·信息可视化·spark·毕业设计·个性化推荐
山海不说话4 小时前
从零搭建微服务项目Pro(第7-1章——分布式雪花算法)
分布式·算法·spring·微服务·架构
掘金-我是哪吒4 小时前
分布式微服务系统架构第95集:基于 Redisson 延迟队列,springboot,springcloud启动过程,策略模式
spring boot·分布式·spring cloud·微服务·系统架构
郭涤生4 小时前
第九章:可靠通信_《凤凰架构:构建可靠的大型分布式系统》
笔记·分布式·架构·系统架构
码界筑梦坊4 小时前
基于大数据的美团外卖数据可视化分析系统
大数据·python·信息可视化