【spark实战:报错】spark序列化报错:Kryo serialization failed: Buffer overflow

文章目录

spark序列化报错

scala 复制代码
 org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: 61186304. To avoid this, increase spark.kryoserializer.buffer.max value.
        at org.apache.spark.serializer.KryoSerializerInstance.serialize(KryoSerializer.scala:300)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:313)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

问题解决

the problem is that kryo does not have enough room in its buffer.

  • You should be adjusting spark.kryoserializer.buffer.max in your properties file,
  • or use --conf "spark.kryoserializer.buffer.max=128m" in your spark-submit command.
相关推荐
说私域11 小时前
基于定制开发开源AI智能名片S2B2C商城小程序的文案信息传达策略研究
大数据·人工智能·小程序
伞啊伞11 小时前
ZooKeeper与Kafka分布式:从基础原理到集群部署
分布式·zookeeper·kafka
我好饿111 小时前
zookeeper+kafka
分布式·zookeeper·kafka
老坛程序员12 小时前
Mosquitto:MQTT Broker入门与分布式部署最佳实践
分布式·物联网·网络协议·iot
涤生大数据13 小时前
从MR迁移到Spark3:数据倾斜与膨胀问题的实战优化
数据库·数据仓库·spark·mapreduce·大数据开发·数据倾斜·spark3
深蓝易网14 小时前
3C电子企业柔性制造转型:如何通过MES管理系统实现快速换线与弹性生产?
大数据·运维·人工智能·重构·制造
IT毕设梦工厂14 小时前
大数据毕业设计选题推荐-基于大数据的全国饮品门店数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata
szxinmai主板定制专家15 小时前
ZYNQ 平台下的四声道超声流量计设计与实现
运维·arm开发·人工智能·分布式·fpga开发
亚林瓜子15 小时前
AWS中的离线计算(大数据大屏项目)
大数据·hadoop·sql·spark·云计算·aws
武子康15 小时前
大数据-110 Flink 安装与部署指南 支持 Local/Standalone/YARN 的多种模式
大数据·后端·flink