spark广播表大小超过Spark默认的8GB限制

报错:

org.apache.hive.service.cli.HiveSQLException: Error running query: java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GB

解决方案

方案1:增加广播阈值

设置参数 SET spark.sql.autoBroadcastJoinThreshold = 10485760;(10G)根据实际情况变更

方案2:禁用广播连接

设置参数 set spark.sql.autoBroadcastJoinThreshold=-1;

相关推荐
武子康1 分钟前
大数据-211 逻辑回归的 Scikit-Learn 实现:max_iter、分类方式与多元回归的优化方法
大数据·后端·机器学习
lpfasd1232 分钟前
鲲鹏生态下的实时计算新选择:OmniStream深度解析与竞品横向对比
大数据·flink
数说星榆18111 分钟前
在线简单画泳道图工具 PC端无水印
大数据·论文阅读·人工智能·架构·流程图·论文笔记
1.14(java)14 分钟前
掌握数据库约束:确保数据精准可靠
java·数据库·mysql·数据库约束
启途AI14 分钟前
2026年课件制作新范式:AI PPT工具深度解析
大数据·人工智能·powerpoint·ppt
木头程序员15 分钟前
机器学习核心知识点汇总
大数据·人工智能·机器学习·kmeans·近邻算法
Codeking__18 分钟前
Redis——value的数据类型与单线程工作模型
java·数据库·redis
yhdata18 分钟前
2026年生物塑料包装行业产业链分析报告
大数据·人工智能
rchmin19 分钟前
MySQL主从复制原理详解
数据库·mysql
ws20190720 分钟前
技术革新与生态融合:AUTO TECH China 2026广州汽车电子展如何定义行业新坐标?
大数据·人工智能·科技·汽车