elastic-job 完结篇

一 elastic-job

1.1 案例场景分析

1.设置4个分片,10秒执行一次。

分片弹性扩容缩容机制测试:

测试1:测试窗口1不关闭,再次运行main方法查看控制台日志,注意修改application.properties中的 server.port,保证端口不冲突

测试2:测试窗口1 和测试窗口2 不关闭,再次运行2次main方法,达到4个任务实例,查看控制台日志

测试3:测试窗口1 和测试窗口2 不关闭,将测试窗口3和测试窗口4任务停止

测试4:测试窗口1不关闭 将测试窗口2 任务停止

结论:
1、任务运行期间,如果有新机器加入,则会立刻触发分片机制,将任务相对 平均的分配到每台机器上并行执行调度。
2、如果有机器退出集群,则经过短暂的一段时间(大约40秒)后又会重 新触发分片机制

二 dataflow类型作业(了解)

Dataflow 类型的定时任务需实现 DataflowJob 接口,该接口提供 2 个方法可供覆盖,分别用于抓取 (fetchData) 和处 理(processData) 数据。咱们继续对例子进行改造。
Dataflow 类型用于处理数据流,它和 SimpleJob 不同,它以数据流的方式执行,调用 fetchData 抓取数据,直到抓 取不到数据才停止作业。

每次运行定时任务都会开启 4 个线程执行 fetchData 抓取数据,抓取以后调用 processData 处
理数据,如果是流式处理数据( new DataflowJobConfiguration 第三个参数为 true )且 fetchData 方法的返回值为 null或集合长度为空时,作业才停止处理。

三 开启记录表的配置(了解)

JOB_EXECUTION_LOG 记录每次作业的执行历史
JOB_STATUS_TRACE_LOG 记录作业状态变更痕迹表。可通过每次作业运行的 task_id 查询作业状态变化的生命周期 和运行轨迹。

四 elastic-job的管控台

4.1 管控台

elastic-job中提供了一个elastic-job-lite-console控制台

4.2 dump命令

使用 Elastic-Job-Lite 过程中可能会碰到一些问题,导致作业运行不稳定。由于无法在生产环境调试,通过 dump 命 令可以把作业内部相关信息dump 出来,方便开发者 debug 分析。

相关推荐
珠***格18 小时前
XGF10-Z-4典型接入方式解析:10千伏专变用户380伏多点分布式光伏如何并网?
网络·人工智能·分布式·安全·边缘计算
阿里云云原生1 天前
Agent 不再是“玩具”!AgentScope Java 2.0 GA 发布:构建企业级分布式智能体底座
java·开发语言·分布式·agentscope
时代的狂1 天前
RabbitMQ 面试问答
分布式·面试·rabbitmq
hkNaruto1 天前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式
ThanksGive1 天前
TurboLock:从 v1 Redis 分布式锁到 v2 Go 并发控制中间件
分布式·后端
韩楚风2 天前
【参天引擎】事务生命周期 / MVCC / Undo / ACID / 分布式事务 功能域整体解析
数据库·分布式·mysql·架构·cantian
ACP广源盛139246256732 天前
GSV6155@ACP# 搭配 AI 服务器、AI PC 完整适配方案
大数据·服务器·人工智能·分布式·单片机·嵌入式硬件
ZENERGY-众壹2 天前
50MW分布式VPP接入实战:调度中心要求的1分钟频率如何不卡死API
运维·服务器·分布式·光伏运维
富士康质检员张全蛋2 天前
Kafka的操作 生产消息
分布式·kafka
ClickHouseDB2 天前
推出 CostBench:一个用于数据仓库成本性能的开放基准
大数据·分布式·spark