【Spark】spark中的thread.sleep

Thread.sleep(millisec) 方法会休眠当前正在执行的线程,millisec 单位为毫秒。

在driver中执行不会有什么问题,

在workor中执行的话,注意不要超过heartbeat时间,否则会被resource manager给kill掉

参考

Does calling thread.sleep on a spark job have any issues with it?
多线程:Executor、Sleep、Deamon、Yeild

相关推荐
袋鼠云数栈3 分钟前
构建金融级数据防线:数栈 DataAPI 的全生命周期管理实践
java·大数据·数据库·人工智能·api
IvanCodes5 分钟前
二、Kafka核心架构与分布式存储
大数据·分布式·架构·kafka
云飞云共享云桌面6 分钟前
广东某智能装备工厂8人共享一台服务器
大数据·运维·服务器·人工智能·3d·自动化·电脑
空空潍11 分钟前
【超详细】RabbitMQ安装延迟消息插件
分布式·rabbitmq
GWQ33312 分钟前
2026中国南京国际电池及储能技术博览会影响力如何?商机在哪里?
大数据·人工智能
逻极15 分钟前
Temporal 完全指南:分布式应用的后台“总指挥”
分布式·微服务·wpf·消息中间件·temporal
AI-小柒15 分钟前
巨省Token:OpenClaw安装部署并接入数眼智能特价模型全流程(包含Windows和Mac)
大数据·人工智能·windows·网络协议·tcp/ip·http·macos
deng-c-f16 分钟前
Linux C/C++ 学习日记(73):Kafka(一):基本介绍
分布式·学习·kafka
电报号dapp11918 分钟前
下一代DeFi聚合枢纽:融合RWA资产与社区激励的多维平台设计
大数据·人工智能·去中心化·区块链·智能合约
liuyunshengsir18 分钟前
使用OpenClaw与Elasticsearch实现智能数据操作与分析
大数据·elasticsearch·搜索引擎·openclaw