【Spark】spark中的thread.sleep

Thread.sleep(millisec) 方法会休眠当前正在执行的线程,millisec 单位为毫秒。

在driver中执行不会有什么问题,

在workor中执行的话,注意不要超过heartbeat时间,否则会被resource manager给kill掉

参考

Does calling thread.sleep on a spark job have any issues with it?
多线程:Executor、Sleep、Deamon、Yeild

相关推荐
火星资讯3 小时前
Zenlayer AI Gateway 登陆 Dify 市场,轻装上阵搭建 AI Agent
大数据·人工智能
星海拾遗4 小时前
git rebase记录
大数据·git·elasticsearch
Elastic 中国社区官方博客4 小时前
Elasticsearch:在分析过程中对数字进行标准化
大数据·数据库·elasticsearch·搜索引擎·全文检索
香精煎鱼香翅捞饭6 小时前
记一次多线程调用TDEngine restful获取数据的时间异常
大数据·时序数据库·tdengine
AI_56787 小时前
Webpack5优化的“双引擎”
大数据·人工智能·性能优化
慎独4137 小时前
家家有平台:Web3.0绿色积分引领消费新纪元
大数据·人工智能·物联网
百***24378 小时前
GPT-5.2 技术升级与极速接入指南:从版本迭代到落地实践
大数据·人工智能·gpt
专业开发者9 小时前
奇迹由此而生:回望 Wi-Fi® 带来的诸多意外影响
大数据
尔嵘9 小时前
git操作
大数据·git·elasticsearch
古德new9 小时前
openFuyao AI大数据场景加速技术实践指南
大数据·人工智能