spark广播表大小超过Spark默认的8GB限制

报错:

org.apache.hive.service.cli.HiveSQLException: Error running query: java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GB

解决方案

方案1:增加广播阈值

设置参数 SET spark.sql.autoBroadcastJoinThreshold = 10485760;(10G)根据实际情况变更

方案2:禁用广播连接

设置参数 set spark.sql.autoBroadcastJoinThreshold=-1;

相关推荐
qq77982334010 分钟前
PostgreSQL(1) FETCH用法
数据库·postgresql
类似不类似1 小时前
mysql实例是什么?
数据库·mysql·adb
hui函数2 小时前
订单后台管理系统-day07菜品模块
数据库·后端·python·flask
poemyang2 小时前
gRPC不是银弹:为内网极致性能,如何设计自己的RPC协议?
分布式·网络协议·rpc·高并发
DashVector2 小时前
如何通过Java SDK获取Doc
大数据·后端·阿里巴巴
知彼解己2 小时前
数据库事务隔离级别与 MVCC 机制详解
数据库
乐迪信息2 小时前
乐迪信息:智慧煤矿视觉检测平台:从皮带、人员到矿车
大数据·人工智能·算法·安全·视觉检测·推荐算法
爱思德学术2 小时前
中国计算机学会(CCF)推荐学术会议-A(数据库/数据挖掘/内容检索):SIGMOD 2026
大数据·数据分析·数据管理
阿里云大数据AI技术2 小时前
阿里云携手MiniMax构建云原生数仓最佳实践:大模型时代的 Data + AI 数据处理平台
大数据·数据库
oraen2 小时前
深入理解Kafka事务
分布式·kafka·linq