spark广播表大小超过Spark默认的8GB限制

报错:

org.apache.hive.service.cli.HiveSQLException: Error running query: java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GB

解决方案

方案1:增加广播阈值

设置参数 SET spark.sql.autoBroadcastJoinThreshold = 10485760;(10G)根据实际情况变更

方案2:禁用广播连接

设置参数 set spark.sql.autoBroadcastJoinThreshold=-1;

相关推荐
墨黎芜16 分钟前
SQL Server从入门到精通——C#与数据库
数据库·学习·信息可视化
爱学习的阿磊16 分钟前
持续集成/持续部署(CI/CD) for Python
jvm·数据库·python
一个响当当的名号16 分钟前
lectrue10 排序和聚合算法
数据库
hamawari22 分钟前
SQL语法
数据库·sql·oracle
陌上丨27 分钟前
Redis内存使用率在95%以上,请问是什么原因?如何解决?
数据库·redis·缓存
LaughingZhu33 分钟前
Product Hunt 每日热榜 | 2026-01-31
大数据·人工智能·经验分享·搜索引擎·产品运营
babe小鑫37 分钟前
中专学历进入快消大厂终端销售岗位的可行性分析
大数据
m0_5613596739 分钟前
使用PyQt5创建现代化的桌面应用程序
jvm·数据库·python
samFuB39 分钟前
【工具变量】区县5A级旅游景区DID数据集(2000-2025年)
大数据