spark广播表大小超过Spark默认的8GB限制

报错:

org.apache.hive.service.cli.HiveSQLException: Error running query: java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GB

解决方案

方案1:增加广播阈值

设置参数 SET spark.sql.autoBroadcastJoinThreshold = 10485760;(10G)根据实际情况变更

方案2:禁用广播连接

设置参数 set spark.sql.autoBroadcastJoinThreshold=-1;

相关推荐
lzhdim4 分钟前
SQL 入门 8:SQL 复杂查询:子查询与ALL关键词
数据库·sql·mysql
不像程序员的程序媛13 分钟前
mysql 表主键id 自增&雪花
数据库·mysql
l1t18 分钟前
DeepSeek辅助编写的Oracle dmp转SQL脚本和CSV文件工具
数据库·人工智能·sql·oracle
airuike12333 分钟前
以微见著,精准护航:MEMS IMU助力高铁轨道智能检测
大数据·人工智能·科技
Carino_U40 分钟前
Innodb底层原理与MySQL日志机制
数据库·mysql
少许极端1 小时前
消息队列5-RabbitMQ的高级特性和MQ的应用问题与解决方案-事务、消息分发的应用、幂等性保证、顺序性保证、消息积压的解决
分布式·消息队列·rabbitmq
稻草猫.1 小时前
Spring事务操作全解析
java·数据库·后端·spring
青稞社区.1 小时前
Claude Code 源码深度解析:运行机制与 Memory 模块详解
大数据·人工智能·elasticsearch·搜索引擎·agi
momin~2 小时前
MySQL-part2【MySQL表的增删改查】
数据库·mysql
T06205142 小时前
【面板数据】地级市及区县人口空心化数据(2000-2024年)
大数据