Spark_spark参数配置优先级

总结 :

优先级低-》优先级高

spark-submit 提交的优先级 < scala/java代码中的配置参数 < spark SQL hint

spark submit 中提交参数

复制代码
#!/usr/bin/env bash

source /home/work/batch_job/product/common/common.sh
spark_version="/home/work/opt/spark"
export SPARK_CONF_DIR=${spark_version}/conf/
spark_shell="/home/opt/spark/spark3-client/bin/spark-shell"
spark_sql="/home/work/opt/spark/spark3-client/bin/spark-sql"
echo ${spark_sql}
echo ${spark_shell}
${spark_shell} --master yarn \
        --queue test \
        --name "evelopment_sun-data-new_spark_shell" \
        --conf "spark.speculation=true" \
        --conf "spark.network.timeout=400s" \
        --conf "spark.executor.cores=2" \
        --conf "spark.executor.memory=4g" \
        --conf "spark.executor.instances=300" \
        --conf "spark.driver.maxResultSize=4g" \
        --conf "spark.sql.shuffle.partitions=800" \
        --conf "spark.driver.extraJavaOptions=-Dfile.encoding=utf-8" \
        --conf "spark.executor.extraJavaOptions=-Dfile.encoding=utf-8" \
        --conf "spark.driver.memory=8g" \
        --conf "spark.sql.autoBroadcastJoinThreshold=-1" \
        --conf "spark.sql.turing.pooledHiveClientEnable=false" \
        --conf "spark.sql.hive.metastore.jars=/home/work/opt/spark/spark3-client/hive_compatibility/*" \
        --conf "spark.driver.extraClassPath=./__spark_libs__/hive-extensions-2.0.0.0-SNAPSHOT.jar:./hive_jar/parquet-hadoop-bundle-1.6.0.jar:/home/work/opt/spark/spark3-client/hive_compatibility/parquet-hadoop-bundle-1.6.0.jar" \
       --conf spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2 \
       --conf "spark.sql.legacy.timeParserPolicy=LEGACY" \
       --conf "spark.sql.storeAssignmentPolicy=LEGACY" \
       --conf spark.executor.extraJavaOptions="-XX:+UseG1GC" \
       --jars ./online-spark-1.0-SNAPSHOT.jar

scala/java代码中的配置参数

复制代码
    val conf = new SparkConf().setAppName(s"production_data-new_UserOverview_${event_day}")
    val spark = SparkSession.builder().config("spark.debug.maxToStringFields", "500").config(conf).getOrCreate()

SQL hint

复制代码
SELECT /*+ MERGEJOIN(t2) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;

Hints - Spark 3.5.0 hints Documentation

相关推荐
isfox11 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台12 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码14 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据14 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
wuyk5551 天前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界1 天前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)1 天前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
国科安芯1 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
字节跳动数据平台1 天前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统2 天前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全