技术栈
任务调度
Dyx邓杨喜
1 天前
http请求
·
etl
·
数据同步
·
任务调度
·
飞书表格
EasyJob开源发布,让数据自动飞进飞书大屏(多种任务类型 : SQL任务,ETL 同步,监控通知,飞书表格同步,HTTP请求,自定义任务流)
一款开箱即用的开源任务调度与数据同步平台 —— EasyJob 开源地址:https://gitee.com/dyx88168/EasyJob (MIT 协议,欢迎 Star ⭐) ( 支持: Window系统🪟, Linux系统💻, Mac苹果系统🍎)
ZGi.ai
4 天前
workflow
·
定时任务
·
任务调度
·
ai智能体
·
企业ai
·
agentruntime
Agent 定时任务总跑偏?先写清触发和补跑规则
Agent 每天定时运行,要先确定三个问题:按哪个时区启动,处理哪段时间的数据,错过时点后怎样补跑。定时器只负责发出启动信号,输入是否齐全、报告是否仍有用、旧任务是否需要补做,都需要单独的业务规则。只写“每天生成日报”,模型就可能把运行当天、资料更新日期和报告所属日期混在一起。
红红谈说
6 天前
任务调度
·
热榜抓取
·
相似去重
·
选题生成
多平台热榜怎么抓取和去重?选题生成链路的一次复盘
一、两个人每天要交三十个选题内容团队当时只有两个运营,老板的要求是每天早上九点前交三十个可写的选题,覆盖八个内容平台。他们原来的做法是挨个打开平台的热榜页面,把前五十条抄进表格,再凭印象圈出今天能写的。整个过程大概要七十分钟,八点前必须起床开电脑,谁请假谁这天的选题就断档,剩下的那个人得连轴看完八个榜单。
Web3&Basketball
1 个月前
python
·
性能优化
·
大模型
·
任务调度
·
成本优化
·
deepseek
·
推理优化
LLM 峰谷定价怎么吃满:一个能对账的错峰调度器
价格表变了,很多人的批处理任务还在按老姿势跑。同一份代码、同一个模型,账单能差一倍,差别只在发请求的时刻。为什么错峰这件事一直没被认真做?因为它看起来太简单了,简单到没人愿意为它写调度器。
DolphinScheduler社区
1 个月前
大数据
·
安全
·
开源
·
apache
·
任务调度
·
海豚调度
Apache DolphinScheduler 8 月报:权限安全加固,调度补火上线,性能与稳定性持续提升
Apache DolphinScheduler 8 月月报来啦!过去一个月,社区持续推进项目迭代,在功能优化、性能提升和生态建设等方面不断取得新进展。让我们一起看看 8 月 DolphinScheduler 又有哪些值得关注的更新,也感谢每一位参与贡献、积极反馈和支持社区的小伙伴,正是大家的共同努力,让 DolphinScheduler 持续成长!
捷瑞电子工坊
2 个月前
freertos
·
任务调度
·
优先级
·
嵌入式实时操作系统
·
就绪列表
FreeRTOS 就绪列表详解:任务调度的核心枢纽
在FreeRTOS中,任务调度是整个操作系统的核心功能。而就绪列表(Ready List) ,正是支撑任务调度的最关键数据结构。简单来说,就绪列表就是用来存放所有“准备好了、随时可以运行”的任务的地方。
dozenyaoyida
3 个月前
任务调度
·
ai编程助手
·
claude code
·
多实例协作
·
文件系统队列
多 Claude Code 实例任务协调:文件系统队列设计与 Bash 实现
一个人开三个 Claude Code 窗口,一个改前端,一个写后端,一个更新文档。听起来很高效,但真干起来你会发现:手动把任务描述复制到每个窗口,效率低得要命。更麻烦的是,窗口之间完全不知道对方在干什么,改同一个文件撞车了都不知道。
小森林之主
4 个月前
java
·
redis
·
任务调度
·
cron
·
分布式定时任务
凌晨3点的闹钟:分布式定时任务设计实战
凌晨3点,你被一阵刺耳的警报声从梦中惊醒。监控系统显示,服务器负载异常,应用程序的日志文件中充满了重复执行的任务记录。显然,你的定时任务系统出现了问题,导致任务在多个节点上重复执行。如果你是一位运维人员或开发人员,面对这样的场景,一定心急如焚。今天,我们就来解决这个问题,通过设计一个可靠的分布式定时任务系统,确保任务在集群中只执行一次,同时具备高可用性和扩展性。
DolphinScheduler社区
5 个月前
大数据
·
运维
·
自动化
·
任务调度
·
海豚调度
DolphinScheduler 3.1.3 跨越升级 3.4.1:基于 API 的自动化迁移方案
作者 | 肖清海当前 DolphinScheduler 版本: 3.1.3 当前 seatunnel 版本: 2.1.3
__土块__
5 个月前
状态机
·
可观测性
·
任务调度
·
系统稳定性
·
ai工程
·
静默故障
·
背压控制
AI 后台任务调度中的静默跳过治理:从链路背压到状态补偿的稳定性实践
在 AI 后台任务调度系统中,一个典型的故障现象是:任务被成功触发,日志显示“已入队”,但最终无产出、无错误日志、无告警。用户侧表现为“任务消失了”。这类静默跳过问题在 RAG 文档处理、Agent 工具调用、定时模型推理等场景高频出现,排查成本极高。本文基于一次真实线上故障,还原从现象定位到根因分析,再到治理落地的完整过程,重点聚焦任务调度链路的稳定性治理。
__土块__
5 个月前
状态机
·
任务调度
·
系统稳定性
·
异步执行
·
ai工程
·
静默故障
·
超时治理
定时任务触发后无产出的静默故障排查与治理实践
在一个基于 RAG 的自动化内容生成系统中,用户配置了每日定时触发的文章生成任务。任务配置成功,调度日志显示“已触发”,但连续多日未产出最终文章。前端无报错,后台无异常日志,任务状态停留在“执行中”,形成典型的静默故障。
howard2005
5 个月前
spark
·
任务调度
·
stage划分
3.7 Spark任务调度
Spark任务调度的核心逻辑,在于利用有向无环图(DAG)来优化并行计算。整个流程始于用户代码构建的RDD依赖图,DAGScheduler会依据宽依赖(Shuffle)将图切分为多个Stage,窄依赖则被合并以实现流水线计算。随后,TaskScheduler将这些Stage转化为具体的任务集,并分发给Worker节点的Executor执行。这种“逻辑划分”与“物理执行”解耦的机制,通过隔离昂贵的Shuffle操作,极大地提升了分布式计算的效率与容错能力。
__土块__
5 个月前
可观测性
·
链路追踪
·
任务调度
·
系统稳定性
·
故障排查
·
管理后台
·
ai工程
AI 后台任务调度成功但未执行:从链路追踪到巡检策略的稳定性治理实践
2026 年 3 月,某 RAG 系统的后台定时任务模块出现异常:管理后台显示“任务已调度”,日志中也打印了调度成功记录,但下游模型服务未收到任何请求,知识库也未更新。用户反馈数据滞后,运维团队排查半天无法定位,最终通过链路追踪发现任务在中间件层被静默丢弃。
__土块__
5 个月前
可观测性
·
任务调度
·
系统稳定性
·
监控告警
·
重试机制
·
ai工程
·
状态机设计
AI 后台任务静默丢失的链路治理:从状态机缺陷到可观测性闭环的工程复盘
2026 年 4 月初,我们上线了一套面向企业客户的 AI 内容生成平台,支持用户提交长文本生成任务,由后台 Agent 调用 RAG 系统完成内容创作。系统初期运行平稳,但在高并发时段频繁出现「任务提交成功但无结果返回」的静默丢失问题。前端显示任务状态为“已完成”,但用户未收到任何输出,且无错误日志。客服工单激增,运维团队无法通过现有监控定位问题。
__土块__
5 个月前
任务调度
·
系统稳定性
·
监控告警
·
重试机制
·
ai工程
·
状态机设计
·
终态一致性
AI 任务执行链路中的终态一致性治理:从静默卡住到分层巡检的工程实践
在我们的 AI 任务执行系统中,用户提交一个多步骤任务(如文档解析 + 知识提取 + 报告生成)后,前端会显示“正在执行中”,但部分任务在运行数小时后仍未完成,既无结果返回,也无失败提示。这类任务在数据库中状态为 RUNNING,但实际执行节点早已失联或崩溃。用户侧表现为“静默卡住”,客服无法解释原因,技术侧也无告警触发。该问题影响约 5% 的复杂任务,主要集中在长链路、跨服务调用的场景中。本文将围绕这一现象,拆解技术链路,定位关键故障点,给出修复方案,并建立预防机制。
__土块__
6 个月前
线程池
·
可观测性
·
任务调度
·
系统稳定性
·
生产故障
·
ai工程
·
执行隔离
AI 任务调度器频繁超时:一次从线程争用到执行隔离的工程复盘
2026 年 3 月中旬,某企业 AI 问答平台上线后,用户反馈“提交任务后长时间卡在‘处理中’状态”,部分任务在 30 秒后返回超时错误。初期怀疑是模型推理慢,但监控显示模型平均响应时间为 800ms,远低于超时阈值。进一步排查发现,任务调度器(Scheduler)自身成为瓶颈——尽管任务已成功入队,但实际执行延迟高达 15~25 秒。
We་ct
7 个月前
前端
·
react.js
·
前端框架
·
reactjs
·
个人开发
·
任务调度
·
优先
React Scheduler & Lane 详解
在讲解Scheduler和Lane之前,先明确3个面试常考的基础概念,帮你快速理解二者的作用场景:通俗解释:把React中的每一种更新优先级,想象成一条“车道”——高优先级更新走“快车道”,能插队;低优先级更新走“慢车道”,会被快车道的车辆(高优先级更新)打断,这样就能精准区分不同更新的执行顺序,避免混乱。
DolphinScheduler社区
7 个月前
开源
·
apache
·
任务调度
·
开源社区
·
海豚调度
·
大数据工作流调度
Apache DolphinScheduler 2 月社区动态:功能升级与优化齐飞
2026 年 2 月,Apache DolphinScheduler 社区保持了活跃的开发节奏。本月的工作重心围绕着系统稳定性的提升、现有功能的改进以及代码质量的优化。社区成员们在修复 Bug、增强用户体验、完善文档以及推进重要架构决策等方面都做出了积极的贡献。
DolphinScheduler社区
8 个月前
大数据
·
开源
·
apache
·
任务调度
·
海豚调度
第 3 篇|调度是如何“跑起来”的?
在前两篇中,我们已经分别拆解了调度系统要解决什么问题,以及Workflow 在逻辑层面是如何被抽象和建模的。
大千AI助手
9 个月前
hive
·
python
·
任务调度
·
airflow
·
模版
·
大千ai助手
·
hiveoperator
HiveOperator 中 hql 模板路径解析失败的原因分析
本文由「大千AI助手」原创发布,专注用真话讲AI,回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我,一起撕掉过度包装,学习真实的AI技术!