【spark实战:报错】spark序列化报错:Kryo serialization failed: Buffer overflow

文章目录

spark序列化报错

scala 复制代码
 org.apache.spark.SparkException: Kryo serialization failed: Buffer overflow. Available: 0, required: 61186304. To avoid this, increase spark.kryoserializer.buffer.max value.
        at org.apache.spark.serializer.KryoSerializerInstance.serialize(KryoSerializer.scala:300)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:313)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

问题解决

the problem is that kryo does not have enough room in its buffer.

  • You should be adjusting spark.kryoserializer.buffer.max in your properties file,
  • or use --conf "spark.kryoserializer.buffer.max=128m" in your spark-submit command.
相关推荐
欧先生^_^29 分钟前
Spark 的一些典型应用场景及具体示例
大数据·分布式·spark
陶然同学1 小时前
RabbitMQ全栈实践手册:从零搭建消息中间件到SpringAMQP高阶玩法
java·分布式·学习·rabbitmq·mq
八股文领域大手子1 小时前
如何给GitHub项目提PR(踩坑记录
大数据·elasticsearch·github
爱吃龙利鱼1 小时前
elk中kibana一直处于可用和降级之间且es群集状态并没有问题的解决方法
大数据·elk·elasticsearch
腾讯云大数据1 小时前
腾讯云ES一站式RAG方案获信通院“开源大模型+软件创新应用”精选案例奖
大数据·elasticsearch·开源·云计算·腾讯云
云攀登者-望正茂1 小时前
Kafka 架构设计和组件介绍
分布式·kafka
露卡_2 小时前
Kafka和其他组件的整合
分布式·kafka·linq
goTsHgo2 小时前
Kafka 保证多分区的全局顺序性的设计方案和具体实现
分布式·kafka
苍煜2 小时前
Elasticsearch(ES)中的脚本(Script)
大数据·elasticsearch·搜索引擎
Hello kele2 小时前
解构与重构:“整体部分”视角下的软件开发思维范式
大数据·经验分享·程序员·重构·项目管理·人月神话·沟通困局