spark广播表大小超过Spark默认的8GB限制

报错:

org.apache.hive.service.cli.HiveSQLException: Error running query: java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GB

解决方案

方案1:增加广播阈值

设置参数 SET spark.sql.autoBroadcastJoinThreshold = 10485760;(10G)根据实际情况变更

方案2:禁用广播连接

设置参数 set spark.sql.autoBroadcastJoinThreshold=-1;

相关推荐
橙露4 分钟前
Spring Boot 核心原理:自动配置机制与自定义 Starter 开发
java·数据库·spring boot
冰暮流星5 分钟前
sql语言之分组语句group by
java·数据库·sql
符哥20086 分钟前
Ubuntu 常用指令集大全(附实操实例)
数据库·ubuntu·postgresql
C++ 老炮儿的技术栈23 分钟前
Qt 编写 TcpClient 程序 详细步骤
c语言·开发语言·数据库·c++·qt·算法
怣5033 分钟前
MySQL子查询零基础入门教程:从小白到上手(零基础入门版)
数据库·mysql
码界调试侠36 分钟前
MongoDB 常用查询语法
数据库·mongodb
静听山水37 分钟前
StarRocks导入数据【Stream Load】
数据库
藦卡机器人38 分钟前
国产机械臂做的比较好的品牌有哪些?
大数据·数据库·人工智能
代码改善世界1 小时前
CANN深度解构:中国AI系统软件的原创性突破与架构创新
大数据·人工智能·架构
jiunian_cn1 小时前
【Redis】数据库管理操作
数据库·redis·缓存