spark广播表大小超过Spark默认的8GB限制

报错:

org.apache.hive.service.cli.HiveSQLException: Error running query: java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GB

解决方案

方案1:增加广播阈值

设置参数 SET spark.sql.autoBroadcastJoinThreshold = 10485760;(10G)根据实际情况变更

方案2:禁用广播连接

设置参数 set spark.sql.autoBroadcastJoinThreshold=-1;

相关推荐
GoodStudyAndDayDayUp19 分钟前
dbever 导出数据库表的建表语句和数据插入语句
数据库
没有口袋啦1 小时前
《Reids》配置文件
数据库·redis
诺亚凹凸曼1 小时前
浅谈mysql的undolog
数据库·mysql
m0_694845571 小时前
云服务器如何管理数据库(MySQL/MongoDB)?
服务器·数据库·mysql
devops_sre2 小时前
mongodb原理及其实现
数据库·mongodb
wackpa2 小时前
说下对mysql MVCC的理解
数据库·mysql
Ftrans2 小时前
【分享】文件摆渡系统适配医疗场景:安全与效率兼得
大数据·运维·安全
技术吧2 小时前
MySQL功能模块探秘:数据库世界的奇妙之旅
数据库·mysql
℡余晖^2 小时前
Mysql默认存储引擎InnoDB和底层数据结构
数据库·mysql
金心靖晨3 小时前
消息中间件优化高手笔记
java·数据库·笔记