【Spark】spark中的thread.sleep

Thread.sleep(millisec) 方法会休眠当前正在执行的线程,millisec 单位为毫秒。

在driver中执行不会有什么问题,

在workor中执行的话,注意不要超过heartbeat时间,否则会被resource manager给kill掉

参考

Does calling thread.sleep on a spark job have any issues with it?
多线程:Executor、Sleep、Deamon、Yeild

相关推荐
打码人的日常分享2 小时前
智慧园区建设资料合集(Wordppt原件)
大数据·物联网·流程图·智慧城市·制造
洗发水很好用2 小时前
制造部门的转型目标与场景痛点
大数据·数据库·制造
掘金-我是哪吒4 小时前
分布式微服务系统架构第148集:JavaPlus技术文档平台日更
分布式·微服务·云原生·架构·系统架构
JavaGPT4 小时前
Kafka 4.0.0集群部署
分布式·kafka
bug菌5 小时前
一致性设计选择:不同业务场景下,如何做“取舍”?
分布式·后端·架构
API_technology5 小时前
亚马逊 API 实战:商品详情页实时数据采集接口开发与调用
大数据·开发语言·python·数据挖掘
isfox21 小时前
Hadoop 版本进化论:从 1.0 到 2.0,架构革命全解析
大数据·后端
星环科技TDH社区版1 天前
星环科技产品可存储的表格式功能介绍以及创建示例
大数据·数据库
百度Geek说1 天前
百度垂搜数据管理系统弹性调度优化实践
大数据·搜索引擎
bug菌1 天前
CAP定理真的是死结?业务系统到底该怎么取舍!
分布式·后端·架构