spark广播表大小超过Spark默认的8GB限制

报错:

org.apache.hive.service.cli.HiveSQLException: Error running query: java.util.concurrent.ExecutionException: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GB

解决方案

方案1:增加广播阈值

设置参数 SET spark.sql.autoBroadcastJoinThreshold = 10485760;(10G)根据实际情况变更

方案2:禁用广播连接

设置参数 set spark.sql.autoBroadcastJoinThreshold=-1;

相关推荐
小李同学_LHY6 分钟前
Redis一站式指南二:主从模式高效解决分布式系统“单点问题”
java·数据库·redis·缓存
JAVA学习通12 分钟前
【redis初阶】------List 列表类型
数据库·redis·缓存
程序员JerrySUN5 小时前
基于 RAUC 的 Jetson OTA 升级全攻略
java·数据库·redis
布朗克1686 小时前
MySQL UNION 操作符详细说明
数据库·mysql·union
深圳UMI7 小时前
AI模型设计基础入门
大数据·人工智能
计算机毕业编程指导师7 小时前
毕业设计选题推荐之基于Spark的在线教育投融数据可视化分析系统 |爬虫|大数据|大屏|预测|深度学习|数据分析|数据挖掘
大数据·hadoop·python·数据挖掘·spark·毕业设计·在线教育投融
白雪讲堂7 小时前
【GEO从入门到精通】生成式引擎与其他 AI 技术的关系
大数据·人工智能·数据分析·智能电视·geo
hqxstudying8 小时前
java分布式定时任务
java·开发语言·分布式
前端世界9 小时前
鸿蒙分布式任务调度深度剖析:跨设备并行计算的最佳实践
分布式·华为·harmonyos