spark 设置hive.exec.max.dynamic.partition不生效

spark脚本和程序中设置ive.exec.max.dynamic.partition不生效

正确写法:

spark-submit \

--master yarn \

--deploy-mode client \

--driver-memory 1G \

--executor-memory 12G \

--num-executors 8 \

--executor-cores 4 \
--conf spark.hadoop.hive.exec.max.dynamic.partitions=10000 \
--conf spark.hadoop.hive.exec.max.dynamic.partitions.pernode=10000 \

相关推荐
Elastic 中国社区官方博客4 小时前
使用真实 Elasticsearch 进行高级集成测试
大数据·数据库·elasticsearch·搜索引擎·全文检索·jenkins·集成测试
一张假钞5 小时前
Spark SQL读写Hive Table部署
hive·sql·spark
好记性+烂笔头5 小时前
4 Spark Streaming
大数据·ajax·spark
想做富婆6 小时前
Hive:窗口函数[ntile, first_value,row_number() ,rank(),dens_rank()]和自定义函数
数据仓库·hive·hadoop
好记性+烂笔头8 小时前
3 Flink 运行架构
大数据·架构·flink
字节侠8 小时前
Flink2支持提交StreamGraph到Flink集群
大数据·flink·streamgraph·flink2·jobgraph
好记性+烂笔头12 小时前
4 Hadoop 面试真题
大数据·hadoop·面试
好记性+烂笔头13 小时前
10 Flink CDC
大数据·flink
赵渝强老师14 小时前
【赵渝强老师】Spark RDD的依赖关系和任务阶段
大数据·缓存·spark
小小のBigData14 小时前
【2025年更新】1000个大数据/人工智能毕设选题推荐
大数据·人工智能·课程设计