【Spark】spark中的thread.sleep

Thread.sleep(millisec) 方法会休眠当前正在执行的线程,millisec 单位为毫秒。

在driver中执行不会有什么问题,

在workor中执行的话,注意不要超过heartbeat时间,否则会被resource manager给kill掉

参考

Does calling thread.sleep on a spark job have any issues with it?
多线程:Executor、Sleep、Deamon、Yeild

相关推荐
外域速览1 小时前
智谱50亿美元押注AI自训练
大数据·人工智能
人工智能培训1 小时前
孪生不止在工厂:能源、医疗与农业
大数据·人工智能
QYRdata2 小时前
隐私合规技术迎来拐点:数据主体请求自动化年复合增长率14.0%(2026-2032)
大数据·服务发现
拼图2094 小时前
Git常用语法
分布式·git·学习
Elastic 中国社区官方博客5 小时前
列式存储并不等同于列式数据库。Columnar 模式为 Elasticsearch 带来了什么
大数据·运维·数据库·elasticsearch·搜索引擎
weixin199701080165 小时前
[特殊字符]️《二手ERP对接电商平台的总体方案:统一数据模型 + 事件驱动 + 灰度上线6原则》(附Python源码)
大数据·python
大大大大晴天5 小时前
从元数据到数据地图:企业数据治理的第一块地基
大数据
科创致远6 小时前
科创致远 eSOP 电子作业指导书系统落地应用指南
大数据·人工智能·汽车·制造·精益工程
人丰7 小时前
AI不是空中楼阁:制造企业智能化转型的底座建设方法论
大数据·人工智能·制造
科创致远7 小时前
成都显示模组场景观察|看板、ESOP、MES,该不该合成一块屏
大数据·人工智能·制造