spark广播表大小超过Spark默认的8GB限制

报错:

org.apache.hive.service.cli.HiveSQLException: Error running query: java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GB

解决方案

方案1:增加广播阈值

设置参数 SET spark.sql.autoBroadcastJoinThreshold = 10485760;(10G)根据实际情况变更

方案2:禁用广播连接

设置参数 set spark.sql.autoBroadcastJoinThreshold=-1;

相关推荐
Wang's Blog几秒前
Kafka: HTTPS证书申请集成指南
分布式·https·kafka
漂亮的小碎步丶3 分钟前
【7】SQL性能优化实践:EXPLAIN解读+慢查询分析+移动代理商结算案例
数据库·sql性能优化
小股虫16 分钟前
从Tair虚拟桶到数据库分库分表:解耦逻辑与物理的架构艺术
数据库·架构·解耦
车载测试工程师18 分钟前
CAPL学习-CAN相关函数-CANdb API类函数
网络·数据库·学习·capl·canoe
默 语26 分钟前
RAG实战:用Java+向量数据库打造智能问答系统
java·开发语言·数据库
北极糊的狐26 分钟前
若依报错org.springframework.dao.DataIntegrityViolationException
数据库·mysql
dazhong201234 分钟前
Mybatis 敏感数据加解密插件完整实现方案
java·数据库·mybatis
薛晓刚1 小时前
2025 年度个人回顾总结
数据库
TDengine (老段)1 小时前
TDengine 在智能制造领域的应用实践
java·大数据·数据库·制造·时序数据库·tdengine·涛思数据
山沐与山1 小时前
【Flink】Flink算子大全
大数据·flink