【Spark】spark中的thread.sleep

Thread.sleep(millisec) 方法会休眠当前正在执行的线程,millisec 单位为毫秒。

在driver中执行不会有什么问题,

在workor中执行的话,注意不要超过heartbeat时间,否则会被resource manager给kill掉

参考

Does calling thread.sleep on a spark job have any issues with it?
多线程:Executor、Sleep、Deamon、Yeild

相关推荐
阿里云大数据AI技术1 小时前
跨国数仓迁移背后的统一存储格式创新-Append Delta Table
大数据·人工智能·数据分析
羌俊恩3 小时前
分布式存储之Ceph使用指南--部署篇(未完待续)
分布式·ceph·pg·osd·rados
wb1893 小时前
LVS的集群技术和分布式
运维·笔记·分布式·云计算·lvs
汀、人工智能3 小时前
AI-Compass LLM训练框架生态:整合ms-swift、Unsloth、Megatron-LM等核心框架,涵盖全参数/PEFT训练与分布式优化
人工智能·分布式·sft·swift·大模型训练
武子康6 小时前
Java-71 深入浅出 RPC Dubbo 上手 父工程配置编写 附详细POM与代码
java·分布式·程序人生·spring·微服务·rpc·dubbo
武子康8 小时前
Java-72 深入浅出 RPC Dubbo 上手 生产者模块详解
java·spring boot·分布式·后端·rpc·dubbo·nio
橘子在努力12 小时前
【橘子分布式】Thrift RPC(理论篇)
分布式·网络协议·rpc
lifallen14 小时前
Kafka 时间轮深度解析:如何O(1)处理定时任务
java·数据结构·分布式·后端·算法·kafka
liupenglove14 小时前
自动驾驶数据仓库:时间片合并算法。
大数据·数据仓库·算法·elasticsearch·自动驾驶
沈健_算法小生16 小时前
基于SpringBoot3集成Kafka集群
分布式·kafka·linq